概要
Digidayの報道によると、ReutersとTimeはAIボットをデフォルトでブロックし、承認されたクローラーのみを許可リスト（allowlist）経由で許可する運用に切り替えました。両社は5月にこの決定を下し、過去1年間に同様の体制を導入したPeople Inc.やThe Atlanticに続いています。
解説
近年、生成AIの台頭により、AIボットによるコンテンツスクレイピングが加速しており、パブリッシャー側はこれに対し抜本的な対策を迫られています。今回のReutersやTimeの動きは、従来のrobots.txtによるブロックリスト方式（blocklist）の限界が明確になったことを示しています。robots.txtはあくまで「お願いベース」であり、従わない悪質なボットも存在するため、デフォルトでアクセスを拒否し、許可したボットのみを通すデフォルト拒否（default-deny）方式への移行は、コンテンツ保護の観点から非常に合理的と言えます。実際、People Inc.の事例では、許可リストへの切り替えによりブロック対象のユーザーエージェントが大幅に増加したことが示されており、従来のブロックリストがいかに不十分であったかを物語っています。パブリッシャーが「公正な価値交換」を求める姿勢は、コンテンツが生み出す価値を再定義し、AI企業との新たな関係性を築く上で重要な一歩となるでしょう。ただし、特に小規模なパブリッシャーにとっては、AIボットをブロックすることでAI検索での可視性やリファラルトラフィックを失うリスクがあり、ライセンス交渉に進む保証もないという課題も指摘されています。自社のコンテンツ戦略とrobots.txtの設定を見直し、どのような「価値」をAIボットに求めるのか、慎重に検討する時期に来ていると言えるでしょう。
- 掲載元: Search engine journal
- 公開日: 2026-06-10T00:06:10+00:00
More News Sites Default To Blocking AI Crawlers via @sejournal, @MattGSouthern
