概要
最近立ち上げられたウェブサイトのアクセスログを調査したところ、「AIアシスタント」からのアクセスは81.8%、「Googlebot」からのアクセスは87%が偽物であったことが判明しました。
ボットは自身が何のボットであるかをリクエストヘッダーで申告しますが、この情報は簡単に偽装できるため、その名前を信用することはできません。真の検証には、各主要オペレーターが公開しているIPアドレスリストと照合する必要があります。
筆者はPythonスクリプトを用いてこの検証を実行しました。その結果、偽物のAIアシスタントは環境変数ファイルなど機密情報を探していることが明らかになり、クレデンシャルスキャナーが信頼された名前を悪用している実態が浮き彫りになりました。
「Googlebot」は数十年にわたり最もなりすまされているボット名であり、今回のデータもそのパターンを裏付けるものです。ログ上のGooglebotは「Googleだと主張している」ボットであり、本物とは大きく異なる可能性があります。
ボットのアクセスは、ユーザーのリアルタイムな質問に応答するための「デマンド型フェッチ」と、インデックス作成やモデル学習のための「スケジュール型クローラー」に分けられます。
後者の「スケジュール型クローラー」には、検索結果に表示されるためのリトリーバル（検索目的のクロール）と、将来のAIモデルの学習データとしてコンテンツを収集するトレーニング（学習目的のクロール）という異なる目的があります。
新規サイトでの調査では、GooglebotよりもAnthropicのClaudeBotが最も活発にクロールしていることが確認されました。これは短期的なスナップショットに過ぎませんが、どのクローラーがクロールバジェットを費やすかという構成は、将来の戦略的なシグナルとなり得ます。
特に追跡が困難だったのはCommon Crawl（CCBot）です。当初「検証不能」とされた16件について、リバースDNS、WHOIS検索、Common Crawlの公開インデックスとの照合などの手動調査を行い、全てが偽物であったことを突き止めました。
一方、GoogleのGeminiについては、その活動を名前で測定する方法はありません。Googleは学習とリトリーバルを単一のGooglebotクロールに統合し、Google-Extendedというrobots.txtトークンで許可を管理しているため、ChatGPTやClaudeのように個別のGeminiフェッチャーをログで確認することはできません。
筆者は、自身のデータを鵜呑みにするのではなく、この検証方法を自身のログで実行することを推奨しています。確認されたクロールはコンテンツが取得されたことを示すだけで、それが最終的にどのように利用されたか（引用されたか、学習モデルに取り込まれたかなど）は別の問題であり、このギャップがCitationIQを開発した理由だと述べています。
解説
本記事は、ウェブサイトのアクセスログ分析がいかに重要であり、またそのデータがいかに偽装されているかを示す衝撃的な内容です。SEO担当者にとって、ユーザーエージェント文字列だけを信用してはならないという長年の教訓が、AIアシスタントの台頭によってさらに強調されました。
特に、偽のAIアシスタントやGooglebotが機密情報をスキャンしている可能性があるという点は見過ごせません。これは単なる無駄なクロールバジェットの消費だけでなく、セキュリティ上の脅威にもなり得ます。自身のログを定期的に確認し、不正なアクセスを特定することは、サイト保護の第一歩と言えるでしょう。
記事で紹介されているIPアドレスと公開リストの照合、そしてリバースDNSによる検証は、すべてのサイトオーナーが実施すべき基本的なチェックです。特に、Common Crawl（CCBot）の例は、自動検証で「検証不能」とされた場合でも、手動で深く掘り下げて調査することの重要性を示しています。
また、リトリーバルとトレーニングというクローリングの2つの目的を理解することは、今後のAI時代のSEO戦略を立てる上で不可欠です。現在のランキングだけでなく、将来のAIモデルにどのようにコンテンツが取り込まれるか（あるいは取り込まれないか）という視点を持つことが求められます。
GoogleのGeminiのように、特定のAIサービスのクロール活動を直接測定できないという課題は、今後のSEO計測に新たな複雑さをもたらします。依然としてGooglebotの行動を深く分析しつつも、他のAIプラットフォームのクロール活動にも注目し、多角的な視点からサイトへの影響を評価していく必要があるでしょう。
- 掲載元: Search engine journal
- 公開日: 2026-06-25T13:30:24+00:00
