CloudflareのAIクローラー規制がGooglebotをブロックする可能性

概要

Cloudflareは、AIクローラーの識別およびブロック方法を更新しており、これによりAI学習を拒否しているサイトでGooglebotがブロックされる可能性があります。この変更は、同社のContent Independence Dayの一環として発表されました。

新しい制御機能は、ウェブサイトが自動トラフィックを「AIボットをブロックする」という単一のスイッチではなく、Search、Agent、Trainingという3つの行動に基づいて管理できるようにするものです。これらの機能は現在、無料プランを含むすべての顧客で利用可能です。

9月15日には、新たなデフォルト設定が適用されます。新規顧客および既存顧客の新規サイトでは、広告表示ページにおいてTrainingおよびAgentクローラーがデフォルトでブロックされ、Searchは許可されます。

既存の無料顧客で9月15日までに設定を変更していない場合も、これらのデフォルト設定に移行します。また、複数の目的を持つクローラー（例: SearchとTrainingの両方を行うクローラー）に対しては、サイトがTrainingをブロックしている場合、最も厳格なルールが適用され、そのクローラーはブロックされます。

Googlebot、Applebot、Bingbotなどは、検索とAI学習の両方の目的でクロールするため、このルールに該当する可能性があります。以前の「AIボットをブロックする」設定を有効にしているサイトも、この新しいルールでカバーされます。

Cloudflareは、ボットがコンテンツをどのように使用するかを示すContent-use signalもテストしており、これはrobots.txtのContent Signalsを拡張するものです。値は「immediate」「reference」「full」の3段階で、デフォルトは「reference」です。

レポートによると、Cloudflareネットワーク上でのクローラーリクエストの大部分は現在AI学習によるものであり、2025年春の約20%から増加しています。AIエージェントのリクエストも年間で1,700%以上増加しました。

この変更は重要です。サイトがコンテンツをAIモデルから保護するためにTrainingをブロックすると、意図せずGooglebotもブロックしてしまう可能性があります。Cloudflareのブロックはネットワークレベルで行われるため、robots.txtのような助言的な指示よりも回避が困難です。

Googlebotのアクセスが失われると、サイトのクロール効果が低下し、最終的に検索結果での表示に悪影響を及ぼす可能性があります。

解説

Cloudflareの今回のアップデートは、特にAIによるコンテンツ利用が進む中で、ウェブサイト運営者にとって重要な課題を突きつけるものです。コンテンツをAI学習から保護したいというニーズは高まっていますが、その設定が意図せず検索エンジンからのクロールを妨げる可能性がある点が最大の注意点です。

9月15日のデフォルト変更日までに、Cloudflareを利用している全てのサイト運営者は、自社の設定を必ず確認し、必要に応じて変更する必要があります。特に、過去に「AIボットをブロックする」設定を有効にしていたサイトや、無料プランの利用者は、知らないうちにGooglebotのクロールをブロックしてしまうリスクが高いです。

Googlebot、Applebot、Bingbotといった主要な検索エンジンのクローラーが、現在、検索インデックス作成とAI学習の両方の目的で動作しているという事実は、サイト運営者に難しい選択を迫ります。AI学習からコンテンツを保護したい場合でも、検索エンジンのクロールを維持しないと、サイトの検索可視性が著しく低下し、トラフィックやビジネスに悪影響が出る可能性があります。

現状では、AI学習からの保護と検索での可視性維持との間で、妥協点を見つける必要があるかもしれません。Cloudflareは、多目的クローラーの運用者に対して、来年中に行動別にボットを分離するよう求めています。主要なボット運用者がこれに対応するかどうかが、今後の状況を大きく左右するでしょう。それまでは、サイト運営者は現状のリスクを理解し、自身のビジネスに最適な設定を選択することが求められます。

Cloudflareの設定は、robots.txtのような単なる指示ではなく、ネットワークレベルでのブロックです。そのため、影響はより直接的で甚大になる可能性があります。検索トラフィックに依存しているサイトであればあるほど、この設定変更の重要性は増します。早急な対応をお勧めします。