ChatGPT、Googlebotの3.6倍をクロール：2400万件のリクエストが示すもの

概要

Alli AIの分析によると、これまでの常識を覆し、ウェブサイトへのクロールにおいてGooglebotはもはや最も支配的なクローラーではありません。調査期間中の2400万件以上のプロキシリクエストを分析した結果、OpenAIのChatGPT-UserクローラーがGooglebotの3.6倍ものリクエストを行っていたことが明らかになりました。

解説

今回の調査結果は、SEO戦略においてAIクローラーへの対応が急務であることを示しています。もはやGooglebotだけを意識した対策では不十分であり、AIの時代に合わせたアプローチが不可欠です。

まず、robots.txtファイルをAIクローラー向けに監査・更新することが重要です。ChatGPT-User、GPTBot、ClaudeBotなど主要なAIクローラーに対して明示的なディレクティブを設定しましょう。ほとんどの企業は、ブランドや製品、専門知識をAIモデルに学習させるため、検索用と学習用の両方のクローラーを許可することで恩恵を受けます。

特に機密性の高いコンテンツがある場合は、サイト全体をブロックするのではなく、特定のパスに対してきめ細かなDisallowルールを適用することを検討してください。これにより、将来的にAI生成の回答であなたのブランドが引用される機会を減らさずに済みます。

次に、Google Search Consoleで古いURLをクリーンアップすることも重要です。Googlebotが403や404エラーを発生させる無効なURLにリクエストを送り続けると、貴重なクロールバジェットを浪費してしまいます。適切なリダイレクト設定とサイトマップの更新を通じて、効率的なクロール環境を整えましょう。

ChatGPTやPerplexityなどのAI検索結果におけるランキングは、新たな視認性チャネルとして浮上しています。そのため、AIクローラーがコンテンツにアクセスできるかどうかが、SEOの重要な要素となります。特にJavaScriptを多用するサイトでは、AIクローラーへのアクセシビリティを確保するための対策が必要です。

最後に、AIクローラーは個々のリクエストは軽量ですが、その総量は無視できません。多くのリクエストが発生するため、サーバーやCDNがこの膨大なトラフィックを処理できるか、インフラの能力を再確認し、必要に応じて強化する計画を立てることが求められます。