AIに記事を点検させるとき、確認項目と訂正形式を分けて設計した記録

2024年5月、記事確認のためにAIへ「見る場所」と「返し方」を指定した

2024年5月16日、可児波起はChatGPT上で、Shopifyでの領収書発行を説明する日本語記事について点検を依頼しました。今回確認できる原資料は、同日に行われた二つの別会話で、各会話は1件の依頼と1件の回答から構成されています。

この記録から取り出せる知は、AIへ記事確認を依頼するとき、確認対象と返答形式を先に設計することで、文章点検の結果を整理できるということです。

可児波起は記事本文を渡し、以下の4つの観点で確認するよう依頼しました。

• 最新の情報かどうか
• 日本語表現として間違いや違和感がないか
• 誤字脱字がないか
• 企業名、サービス名などに間違いがないか

また、修正箇所が見つかった場合は、箇条書きで訂正内容を返す形式を指定していました。

初回の回答では、四つの観点ごとに評価と修正案が返された

一つ目の会話では、入力にShopifyの領収書記事本文、タイトル案、メタディスクリプション、章ごとの文章などが含まれていました。途中には「Copy」「NK」「次の部を書いてください」など会話由来と見られる文字も含まれていましたが、この記録だけから元の記事生成サービスや使用モデルを特定することはできません。

ChatGPTの回答では、指定された4つの確認軸ごとに評価が返されました。最新性については「情報は概ね最新であり、特にShopifyの機能に関する内容は現在も有効です。」という説明があり、日本語表現、誤字脱字、企業名・サービス名についても評価が示されました。

そのうえで、いくつかの修正提案が提示されました。例えば、「請求書と領収書」という表現について、「請求書と領収書のテンプレート」へ変更すると設定項目がより明確になるという提案です。ただし、この提案が当時のShopify画面上の正式な項目名として正しかったかどうかは、この記録だけでは確認できません。

整理された記事入力の別会話では、異なる回答内容が保存された

同じ2024年5月16日の別会話では、Shopify領収書管理の記事が、タイトル、メタディスクリプション、本文という形式に整理されて入力されていました。前の会話にあった「Copy」「NK」「次の部を書いてください」などの文字はありませんでした。

この別会話でも、4つの確認観点と箇条書きで訂正する形式の依頼は維持されていました。その回答では、最新性について初回とは異なる説明が返されました。

ただし、この二つの回答の違いが、入力整理によって生じたものなのか、別の要因によるものなのかは、この記録だけでは判断できません。確認できるのは、異なる入力状態の別会話で異なる回答が保存されているという点です。

文言差分として追える修正案と、確認が必要な評価結果を分ける

二回目の回答では、具体的な修正案が複数提示されました。

例えば、「必要に応じて変更を行います。」を「必要に応じて設定を変更します。」へ変更する提案がありました。このような文章表現の差分は、元の文章と修正案を比較できます。

一方で、見出しについては、修正前と修正後がどちらも「Shopifyにおける領収書発行の重要性」と同じになっている指摘もありました。これは、AIの指摘項目が表示されても、必ずしも実際の文章修正が発生しているとは限らない例です。

ただし、この一例だけでAIの指摘全体が誤りだったとは判断できません。

最新性の評価は、文言修正とは別に扱う必要があった

二回目の回答では、最新性について「提供された情報は、2023年までの情報に基づいています。」という説明があり、公式サイトや最新ガイドラインの確認が勧められていました。

この「2023年まで」という表現はAIの自己説明であり、利用されたモデルや知識終期を証明するものではありません。また、二つの保存回答には根拠URLや参照元表示は見当たりません。

2024年5月当時のChatGPT環境については、対象日前からWebを調べる機能が提供されており、2024年5月13日にはGPT-4oの段階的な提供開始と、無料利用者への高度なツールの提供拡大が発表されていました。これは当時の製品背景であり、この会話で可児波起がどの機能やモデルを利用したかを示すものではありません。
OpenAI「ChatGPT Release Notes」
OpenAI「GPT-4o and more tools to ChatGPT free users」

AIへの依頼内容を設計することで、記事確認の工程を整理できる

この2024年5月16日の試行では、可児波起はAIへ記事の評価だけを求めるのではなく、確認する観点と結果の受け取り方を指定していました。

その結果、文言修正のように差分として確認できる結果と、最新性評価のように追加確認が必要な結果を分けて扱える記録になりました。

この事例から取り出せる知は、AIを記事確認へ利用するとき、人間側が「何を確認させるか」と「どの形式で結果を受け取るか」を設計することで、点検工程を整理できるということです。

このKnowledgeの関連知識

判断基準を先に共有する：AIに判断を求める前に、「何を基準に判断するか」を指定する。四つの点検観点を先に渡した今回の実践から、求める判断の種類を共有する方法へつながります。

評価の根拠を照合する：出典URLがあることと、内容を事実確認したことを分ける。文言修正と最新性評価を分けた後、資料の該当箇所が主張を支えるかを確かめる次の工程です。