AI検索で推薦されたスクリーンショットは、どこまで成果を証明できるのか

生成AIが「おすすめの企業」を答えた画面に、あるAI検索対策会社の名前が載っていました。企業側はそのスクリーンショットを、自社がAIから推薦される実績として公開していました。画面に名前が出ているのは確かです。でも、この一枚から、どこまで成果を読み取ってよいのでしょうか。

この画像を詳しく見たのは、僕も当時、Webマーケティングの仕事をしながら、自分の情報サイトを生成AIに参照されやすくする改修を進めていたからです。AI検索対策会社から営業メッセージが届き、僕の知らない方法があるなら知りたいと思いました。

AI検索は、検索サービスや対話型AIが質問への回答の中で、企業やサービスを紹介する場面にも関わります。企業名が回答に出たことと、幅広い質問で安定して推薦されることや、施策の効果が確かめられたことは別です。僕はまず、公開画像の検索窓に何が入力されていたのかを確認しました。

実績の画像には、どんな質問が入力されていたのでしょうか

営業企業は投稿の中で「ビッグなワード」という表現を使っていました。一方、画像に表示されていた質問は「AIO対策おすすめ企業」や「aio対策おすすめ会社教えて」に近い文章でした。

ここで使われた「AIO対策」は、検索結果に生成AIが示す回答などを意識した対策を表す言葉です。つまり質問は、AI全般について尋ねているのではなく、AI検索対策を依頼する企業を紹介してほしいという、かなり具体的な内容でした。

この質問で専門会社が登場するのは不自然ではありません。ただ、それを関連分野のどんな質問でも推薦される実績と同じように扱うことはできません。なお、検索ボリュームは今回の資料では測定されていないため、「ビッグワードではなかった」と数量で断定することもできません。

同じ質問では企業が出ましたが、別の質問では候補が変わりました

僕も「AIO対策おすすめ企業」と入力すると、営業企業が生成AIの上位候補に表示されました。公開画像と整合する結果を、自分の画面でも確認できたわけです。

次に「LLMOおすすめ企業」「GEOおすすめ企業」「AIOに強い企業は？」「AI引用に強い企業は？」と聞いてみました。すると、主要な推薦候補が変わり、最初の会社が画面上の上位候補から外れる場合がありました。

ただし、AIO・LLMO・GEOは、生成AIに関連する最適化をめぐる近い用語ですが、完全な同義語と確かめたわけではありません。また、表示範囲から外れた会社が回答全文に一切登場しなかったかは、すべての画像で確認できたわけではありません。

この比較から分かるのは、最初の質問での推薦を確認できても、質問を変えた場合の推薦まで同じ結果だとは言えない、ということです。

質問の表現を変えたのか、それとも探すサービスや評価基準まで変えたのかは、AI検索の推薦を比べるとき「言い換え」と「条件変更」はどう分けるかで整理しています。

会話の前半を見せないだけで、実績の見え方が変わりました

さらに僕は、自分のサイトを実験対象にしました。同じ生成AIの会話で、まず自社ブランドについて尋ね、次にマーケティングとの関係、続いてデジタルマーケティングとの関係を質問しました。

その後、「日本のデジタルマーケティング」という広い質問を入力したところ、回答に自社ブランドが登場しました。最後の回答だけを切り取れば、広い分野の中からAIが自然に僕のサイトを選んだようにも見えます。

実際に、その最後のスクリーンショットだけを別のAIに示すと、広い概念からブランドが選ばれたという趣旨の評価が返ってきました。しかし、そのAIは直前まで僕が同じブランドについて質問していたことを知りませんでした。

この試行で確かめられたのは、一枚の画像からは、それ以前の会話を復元できないということです。なお、事前の質問が推薦を引き起こしたと証明した実験ではありませんし、営業企業が同じ方法を使った証拠もありません。

画像が新規会話の最初の質問だったかどうかを検証する方法は、AI検索の推薦画面だけで「最初の質問」だったと判断できるのかで扱っています。

自分が出やすい質問を作り、条件も変えてみました

僕には音楽活動とマーケティングの両方の経験があります。そこで、ニッチな音楽ジャンルとマーケティングを組み合わせ、自分が候補になりやすい質問を作りました。その質問では、生成AIの回答に僕の名前が登場しました。

次に、音楽ジャンルの条件を一つ外し、より広い「ヒップホップとマーケティングができる人物」という趣旨の質問へ変えました。すると、画面上の主要候補は著名な別人物に変わり、僕の名前は確認した範囲から外れました。

質問の条件を変えれば、求める相手も変わり得ます。これはAIの誤りを示すものではありません。ただ、特定の人物が選ばれやすい条件を用意すれば、推薦された画面を作れることは今回の事例で確認できました。

回答の外側に写る情報にも目を向けました

営業企業の画像には、紫色になったリンクが写っていました。僕は訪問済みリンクではないかと考え、通常モードでの利用履歴などが関係する可能性を指摘しました。ただし、紫色というだけで推薦が個人向けに変化したと証明できるわけではありません。

営業担当者からは、シークレットモードでも望む結果を再現できるという返信がありました。これは相手の説明として確認できていますが、同じ質問を何回試したのか、どの会話状態から始めたのかまで独立に照合したわけではありません。

別の画面では、AI回答に営業企業が登場する一方、その下の通常検索の最上位には別サイトが表示されていました。その一画面で掲載先が違っていたことは観察できますが、AIの内部的な選定理由を特定できたわけではありません。

一枚の画像から言えることを三段階に分けました

今回の一連の検証を通じて、僕は推薦結果の評価を三段階に分けて考えるようになりました。

まず「その質問で名前が表示されたか」。これは画像と質問を確認することで判断できます。次に「質問を変えたり、会話を新しく始めたりしても推薦されるか」。これには条件をそろえた複数回の確認が必要です。

最後に「サイトの改修やAI検索対策が推薦を生んだか」。これは表示された事実や再現回数とは別の、施策と結果の因果関係についての問いです。今回の記録では、その効果を直接測定していません。

営業企業の不正や専門性の不足を証明したわけでもありません。僕が得た知は、名前が出たという事実を正しく評価するためには、質問全文、会話履歴、利用条件、そして確認できた範囲を分けて残す必要がある、ということです。

このKnowledgeの関連知識

AIの説明と原因の区別：AIが説明できたことと原因を突き止めたことは別。画像に対するAIの説明と、原因を検証した事実を混同しないための具体例です。

会話の前後を残す：連続スクリーンショットを会話のEvidenceとして残す。最終回答だけでは分からない入力・応答・訂正の前後を保存する方法です。

出典を検証する：出典URLと内容の確認を分ける。資料が存在することと、その主張を裏付けていることの違いを確認します。