AI検索の推薦画面だけで「最初の質問」だったと判断できるのか

「日本のデジタルマーケティング」と生成AIに尋ねた画面に、僕のサイトのブランド名が登場しました。一枚だけ見れば、広い話題の中からAIが僕のサイトを選んだように見えます。しかし、その会話では、直前まで同じブランドについて何度も質問していました。

僕は、その最後の回答画面だけを別のAIに見せて評価を求めました。すると、広いテーマから自然にブランドが選ばれたという趣旨の返答がありました。そのAIには、先行する質問が見えていません。最終画面だけで推薦の意味を判断することには、どんな限界があるのでしょうか。

この実験のきっかけは、僕が自分の情報サイトを生成AIに参照されやすくする改修を進めていたころ、AI検索対策会社から営業を受けたことです。その会社は、生成AIが「おすすめ企業」を紹介した回答画像を成果として公開していました。僕は、その質問が本当に新しい会話の最初の質問だったか、画像だけでは分からないと感じ、自分のサイトを使って確かめることにしました。

回答画面に写らなかった先行する質問

僕が試したのは、一つの生成AIとの会話をそのまま続ける方法です。まず自社ブランドについて尋ね、続けてブランドとマーケティングの関係、さらにデジタルマーケティングとの関係を質問しました。

最後に「日本のデジタルマーケティング」という、特定のブランド名を含まない広いテーマを質問しました。すると、その回答の中に自社ブランドが登場しました。

つまり最後の質問自体は広い話題でしたが、その前には同じブランドについてのやり取りがあったのです。最終画面だけを切り取れば、前段の質問は見えません。

最後の回答だけを見たAIも、会話の前半を知りませんでした

僕は、その最後の回答を示すスクリーンショットだけを別のAIに見せ、どう評価するか尋ねました。すると、広い概念の質問から自社ブランドが自然に推薦されたという趣旨の回答が返ってきました。

しかし、実際にはその前に自社ブランドの情報を段階的に入力しています。僕がその経過を明かすと、最後の一枚だけから自然な推薦と評価した前提が不十分だったことが分かりました。

ここで直接確かめられたのは、最終のスクリーンショットには先行する会話が写らず、それを見た別のAIも見えない履歴を復元できなかったことです。

推薦されたという一画面自体の証拠能力は、AI検索で推薦されたスクリーンショットは、どこまで成果を証明できるのかでも整理しています。

先に質問していたことと、推薦の原因だったことは別です

今回の記録には、事前にブランドについて質問したことと、最後の広い質問で自社ブランドが登場したことが残っています。ただし、事前の会話があるからそのブランドが出たと、原因まで証明したわけではありません。

原因を確かめるには、新規会話の最初に「日本のデジタルマーケティング」と尋ねた結果と、ブランドについて何度も質問した後で同じ言葉を入力した結果を、できる限り同じ条件で比べる必要があります。

今回の採掘資料には、その統制比較の記録がありません。この事例で言えるのは、「前の会話が存在する最終画面を、初手の推薦だと誤解し得る」という証拠の読み方までです。

シークレットモードや画面の違いは、初手の証明にはなりません

僕は別のテーマを新しい会話で質問した際、営業企業の画像とは画面の見え方が違うことにも気づきました。ただし、表示形式の差がどの条件によって生じたのか、今回の資料では分かりません。

営業担当者からは、シークレットモードでも同じように推薦されるという説明がありました。これは担当者からの返信として記録されていますが、実際の会話開始状態、質問全文、実行回数まで独立に確認したものではありません。

シークレットモードで試したか、新規会話だったか、その会話で最初の質問だったかは、それぞれ別の条件です。一つだけ確認できても、残りを確認したことにはなりません。

初手だと示すために、どんな記録を残すべきでしょうか

僕が次に同じ検証をするなら、新しい会話を開いた状態から、最初の質問を入力して回答が出るところまで、前後のつながりを保って記録します。

利用した生成AIとモード、質問全文、入力順序、回答のどこまで確認したかも一緒に残します。事前に質問していた場合は、その履歴も保存します。

さらに、同じ質問を新規会話の初手で試す場合と、前段の会話を加えた後に試す場合を複数回比べれば、会話履歴による影響を調べる次の実験になります。ただし、これは今回実施できた結果ではなく、経験から考えた検証方法です。

入力・応答・訂正の前後を残す考え方は、連続スクリーンショットを会話挙動のEvidenceとして残すも参考になります。

この検証から残せる知

今回の発端は、営業企業が公開していた推薦画像でした。僕が知りたかったのは、どのような条件でその会社がAIの候補として出ているのか、ということです。自分で似た画面を作ったことで、最終質問の内容だけでなく、そこまでの会話も確認しなければならないと分かりました。

この記録は、営業企業が事前の質問で結果を誘導していたと示すものではありません。また、生成AIが企業を選んだ内部の仕組みや、特定の施策の効果を明らかにしたものでもありません。

それでも、最終回答一枚だけで「新規会話の最初の質問から自然に選ばれた」と証明することはできません。初手という条件を主張するなら、初手だったことを後から確認できる記録も示す必要があります。

このKnowledgeの関連知識

画面の証拠能力：AI検索で推薦されたスクリーンショットは、どこまで成果を証明できるのか。一枚から分かることと分からないことを整理します。

質問内容の比較：AI検索の推薦を比べるとき「言い換え」と「条件変更」はどう分けるか。同じ意味の質問と条件が変化した質問を分ける方法です。

会話履歴の保存：連続スクリーンショットを会話挙動のEvidenceとして残す。会話の最初から結果までを追える形で残す具体例です。