AI可視性ランキングの不安定性：新研究が示す統計的ノイズ

概要

AIの可視性を追跡するデータは、生成モデルが異なる応答を生成するため、完全には信頼できません。ダッシュボード上の引用シェアやランキングは、固定された事実ではなく、常に変化する状況の一時的なスナップショットに過ぎません。

新しいIQRushの論文は、統計的な変動と実際のパフォーマンスの差を区別する方法を提示しています。この研究結果は、別の独立したチームによる同様の発見によっても裏付けられています。

SearchGPT、Gemini、PerplexityなどのAIツールに同じ質問を繰り返し投げかけると、毎回異なる情報源が提示されることがあります。これは、AIモデルが応答にある程度のランダム性を加えるように設計されているためです。

ランキングが本当に意味を持つために必要なデータ量は、しばしば見落とされがちな重要な問いです。論文は、信頼できるランキングには二つの条件が必要だと述べています。

第一に、ランキングの順序が変化しなくなり、安定すること。第二に、上位サイト間の差が誤差の範囲よりも大きく、明確に区別できることです。

30のテストでは、これらの条件を満たすのに33から94の回答が必要でした。ただし、すべてのケースで安定点に達するわけではなく、特定のプラットフォームやトピックに普遍的に適用できる単一の閾値はありません。

Rand Fishkin氏（SparkToro）の研究も、AI可視性測定の不安定性を指摘しており、プロバイダーが「その計算方法を示す」ことの重要性を強調しています。

ダッシュボード上の数値は単なる単一のサンプルであり、安易に信用すべきではありません。コンテンツ変更後のランキング上昇も、統計的ノイズによるものかもしれません。施策の真の成果を判断するには、変更前と変更後に複数回の測定を行う必要があります。

測定するプラットフォームによって必要なデータ量は異なります。例えば、Geminiは引用を集中させる傾向があり、SearchGPTは分散させるため、同じ回答数でも得られる独立した情報の量が異なります。

ランキングの上位層は比較的信頼できますが、中位や下位の順位は誤差が大きく、隣接する順位はコインの裏表のような不確実性があります。リストの先頭以降は正確な順位を報告しない方が賢明です。

この研究は査読済みの最終版ではなくプレプリントであり、ChatGPTが生成した質問を使用している点に留意が必要です。そのため、具体的な数値はあくまで問題の傾向を示すものであり、そのまま適用できるものではありません。

AI可視性レポートは、広告や分析レポートと同様に、誤った小数点以下の精度ではなく、誤差の範囲を含む数値へと移行していくでしょう。Search ConsoleがAIからのクリックを報告するようになるまでは、ユーザー自身が複数回チェックし、単一の数値ではなく範囲を報告する責任があります。

解説

この記事は、AI検索の可視性を測定し、そのデータを解釈する上での本質的な課題を浮き彫りにしています。特に、現在のツールが提供する「クリーンな数字」が、しばしば誤解を招く可能性があるという点は、多くのSEO担当者にとって重要な警告となるでしょう。

コンテンツを更新したり最適化施策を実施した後、少しランキングが上昇しただけで「成功」と判断するのは早計かもしれません。本記事が示すように、これは単なる統計的ノイズの範囲内である可能性があり、実際のパフォーマンス改善とは異なる場合があるからです。

実用的な対応策としては、AI可視性測定を行う際に、単一のデータポイントに過度に依存しないことが挙げられます。施策の前後で複数回データを取得し、その範囲や誤差の幅を考慮に入れることで、より信頼性の高い評価が可能になります。これは、一般的なA/Bテストの考え方と共通する部分があります。

また、現在利用しているAI可視性トラッキングツールが、データの安定性をどのように検証しているのか、つまり「その計算方法を示す」こと（show their math）をプロバイダーに積極的に問い合わせるべきです。これにより、ツールの信頼性と測定結果の妥当性を判断する手助けとなります。

プラットフォームごとの特性を理解し、予算配分に反映させることも重要です。Geminiのように引用が集中するモデルと、SearchGPTのように引用が分散するモデルでは、同じ「回答数」でも得られる情報の質が異なります。この違いを認識し、適切な測定戦略を立てる必要があります。

最終的に、AI可視性レポートは、ウェブサイトのトラフィックデータや広告効果測定と同様に、誤差の概念を組み込んだものへと進化していくと予想されます。現状ではSearch ConsoleがAIからのトラフィックを直接報告しないため、自分たちで複数回の測定と範囲での報告を徹底し、データに基づいた正確な意思決定を目指すことが求められます。

ランキング全体を盲信せず、トップ層のみを信頼に足るものとして扱う姿勢も重要です。中位以下の順位は大きく変動する可能性があるため、具体的な順位ではなく、「トップ層に食い込んでいるか」「上位に近づいているか」といった大まかな傾向を把握するに留めるのが賢明でしょう。