AI検索の推薦を比べるとき、「言い換え」と「条件変更」はどう分けるか

「AIO対策おすすめ企業」と生成AIに尋ねると、あるAI検索対策会社が上位候補に登場しました。ところが、「LLMOおすすめ企業」「GEOおすすめ企業」と質問を変えると、画面に表示される主要候補が変わりました。僕は、この違いをどう評価すればよいのか気になりました。

この比較を始めたのは、自分の情報サイトを生成AIにも参照されやすくする改修を進めていた僕に、AI検索対策会社から営業メッセージが届いたためです。その会社は、AIが自社をおすすめとして紹介している回答画面を実績として公開していました。僕はその質問を自分でも試し、さらに関連する質問でも結果を比べました。

生成AIが企業を薦める回答では、質問の表現だけでなく、何のサービスを探し、どんな基準で企業を選ぶのかも関係します。AIO・LLMO・GEOは近い分野で使われる言葉ですが、同じ意味とは限りません。後から比較を見直すと、僕が変えていたのは言葉だけだったのか、探す対象や判断基準まで変わっていたのかが重要だと分かりました。

出発点となった質問を、まず確認しました

公開画像にあった質問は「AIO対策おすすめ企業」に近いものでした。「AIO対策」は、この場面では生成AIが示す検索回答などを意識したサービスを表す言葉として使われています。

僕も「AIO対策おすすめ企業」と質問すると、その営業企業が上位候補に表示されました。少なくとも、この質問で名前が出るという結果は、自分の画面でも確認できたわけです。

ただし、一つの質問で会社名が表示されたことと、近い分野のさまざまな質問で安定して候補に残ることは別です。そこで、関連する言葉で何度か質問を変えました。

別の言葉を使うと、画面上の主要候補が変わりました

続いて僕は「LLMOおすすめ企業」「GEOおすすめ企業」「AIOに強い企業は？」「AI引用に強い企業は？」と入力しました。

すると、生成AIが示す主要な会社は変わり、最初に登場していた営業企業が画面上の上位候補から外れる場合もありました。もっとも、一部はスクリーンショットに写った範囲での確認で、回答全文に一切存在しなかったと確かめたわけではありません。

重要なのは、これを直ちに「言い換えに弱い」と結論づけられないことです。LLMOやGEOは、生成AIに関連する最適化をめぐる近い言葉ですが、AIOと意味が完全に一致すると確認された用語ではありません。

言葉を変えることと、質問の意味を変えることは違います

例えば、「AIO対策おすすめ企業」は相談先の紹介を求める質問ですが、「AIOに強い企業は？」は企業の専門性を評価する質問とも読めます。話題は近くても、どんな基準で候補を選ぶかは変わるかもしれません。

また、「LLMOおすすめ企業」「GEOおすすめ企業」は、AI検索に関連する別のサービス領域として解釈される可能性があります。単純に同じ質問を別の日本語で伝えただけとは扱えません。

本当に同じ意味の質問を言い換えて比較するなら、「どのサービスについて」「誰に向けて」「何を基準におすすめするか」をそろえる必要があります。

例えば「AI検索対策を相談できる会社を教えて」と「AI検索対策の相談先になる企業を教えて」のような組み合わせなら、目的をそろえた比較を設計できます。ただし、これは僕が今回試した質問の記録ではなく、次の実験を設計するための例です。

僕自身が推薦されるよう、条件を絞った比較もしました

別の試行では、自分の音楽活動とマーケティング経験を組み合わせ、僕が該当しやすいニッチな質問を作りました。その質問への回答には、僕自身の名前が登場しました。

次に、ニッチな音楽ジャンルという条件を一つ外し、「ヒップホップとマーケティングができる人物」という趣旨へ質問を広げました。すると、主要候補は著名な別人物へ変わり、僕の名前は確認した画面の範囲から外れました。

この比較は、まさに質問の絞り込み条件を変更した例です。求める条件が変われば候補も変わり得ます。同じ意味の表現へ言い換えても推薦されなかった、という結果ではありません。

比較した結果を読む前に、判断基準を明確にします

今回の記録を整理すると、少なくとも「質問全文」「探している対象と評価基準」「どこまで回答を見たか」の三つは、一緒に残す必要があります。

ある会社が回答本文に一度登場したのか、画面内の主要候補になったのか、それとも表示されている範囲で見つからなかったのかでは、結果の意味が違います。

評価軸を先に共有するという考え方は、会社の推薦以外にも当てはまります。数字で比較してほしいのか、確認できた事実だけを整理してほしいのかで、AIから得られる回答は変わります。

判断の対象と基準を分ける方法は、AIに判断を求める前に「何を基準に判断するか」を指定するでも説明しています。

今回の試行だけでは、推薦の再現率は測れません

今回の比較では、質問を変更すると上位候補が変わるケースを確認しました。しかし、同じ意味だけを保った複数の言い換えについて、完全な新規会話で何回も試す定量的な実験は行っていません。

もし次に再現率を調べるなら、意味をそろえた言い換えの質問群と、対象や条件を変える質問群を別々に用意する方法が考えられます。使った生成AI、モード、会話開始状態、質問全文、回答の確認範囲を残して繰り返し比較します。

これは今後の検証案であり、今回実施済みの試験ではありません。また、結果が変わった理由や営業企業の専門性の高低を、この比較だけで確定することもできません。

今回の経験から残せる知

僕が最初に知りたかったのは、営業企業が本当に幅広い質問で推薦されるのかということでした。調べるうちに、そもそも比較する質問の意味をそろえなければ、結果の違いを正確に読めないと気づきました。

「言い方を変えたから違う結果になった」のか、「探す対象や評価基準まで変わったから候補が入れ替わった」のか。この二つを分けることが、AI検索の推薦実績を評価する前提になります。

今回の資料から営業企業の対策が無効だったとは言えません。実際に見えた結果と、まだ試していない厳密な言い換えの再現率を分けて残すことが重要です。

このKnowledgeの関連知識

推薦画像の証拠：推薦スクリーンショットが示せる範囲。回答に企業名が出たことと、安定した推薦・対策の成果を分けます。

初手の質問を確かめる：推薦画像が最初の質問だったかを検証する。質問の前に別の会話があるかどうかを確認する方法です。

会話履歴を残す：連続スクリーンショットをEvidenceとして残す。質問や回答を比較するとき、前後の入力と訂正を失わず記録する方法です。