文章の絵文字抽出に、画像の文字起こしを提案したChatGPTの記録

本文から絵文字を抜き出す依頼と、返答された別の処理

2024年10月25日、可児波起はChatGPTへ、プロフィールを説明する文章と画像1点を同じ入力で渡しました。

その入力では、最初に、

「以下の文章から「絵文字」を抜き出してください」

という依頼があり、その後に「#文章」と対象となる文章が続いていました。

この依頼で指定された操作は、文章から絵文字を抜き出すことでした。

しかし、ChatGPTの回答は次の英文でした。

It seems like I can't directly display the content of the image here, but I can extract text from the image if you'd like. Would you like me to proceed with text extraction?

この回答は、画像の内容をここで直接表示できないと述べたうえで、画像から文字を抽出する作業を進めるか尋ねる内容でした。

一方で、本文から絵文字を抜き出した結果は返っていませんでした。

確認できるずれ

この一往復では、可児波起が文章と画像1点を同じ入力で渡したうえで、文章から絵文字を抜き出すよう依頼していました。しかしChatGPTの回答は、画像から文字を抽出する作業を提案する内容で、依頼された絵文字の抽出結果は返していませんでした。この記録から確認できるのは、渡された資料が存在していても、依頼された対象と返答で扱われた対象を対応させることで、作業内容のずれを確認できるという点です。

当時の画像入力機能の背景

OpenAIは2023年9月25日、ChatGPTへ画像入力を含む機能をPlusおよびEnterpriseへ段階的に提供すると発表しました。ChatGPT can now see, hear, and speak
ただし、この2024年10月25日の一回答について、使用モデルや応答の対象と操作がずれた原因は確認できません。画像から文字を抽出する提案が返ったことは確認できますが、実際に画像処理が行われたか、内部でどのような経路を通ったかは、この記録からは分かりません。

この事例から分かること

この記録から取り出せる知は、AIへの依頼では資料の有無だけではなく、何を対象に、どの操作を求め、その結果として何が返ったかを対応させて確認することです。

このKnowledgeの関連知識

資料の取得範囲を確かめる：過去の話を知っていても資料を読めたとは限らない――dotへ10ファイルを添付して原文を確認した実例。今回の事例では文章が同じ入力に存在しました。こちらは、その前提となる資料本文を取得できたかを確認する別の工程を扱います。

提案と実行結果を区別する：AIに外部サービスを操作させるとき「送信した・保存された・表示された」を分けて確認する。画像からの文字抽出を提案する返答と、実際の抽出結果を区別した今回の記録から、外部操作の送信・保存・表示を分ける確認へつながります。