概要
最近、共有されたClaudeチャットが予期せずGoogleの検索結果に表示される事態が発生しました。これらのページにはnoindexディレクティブが設定されていましたが、robots.txtによるブロックによってGooglebotがアクセスできない状態でした。
解説
今回のClaudeチャットが検索結果に表示された事例は、SEOにおいて最も基本的ながらも誤解されやすい概念の一つである、robots.txtのDisallowとnoindexの決定的な違いを改めて浮き彫りにしています。
ウェブサイトの管理者は、特定のページを検索結果から除外したい場合、robots.txtによるクロールブロックだけに頼るべきではありません。Disallowはクローラーのアクセスを制御するものであり、Googleがそのページの存在を知り、他のページからのリンクを通じてURLをインデックスする可能性を排除しません。
ページを確実にインデックスさせたくない場合は、クローラーがアクセスして読み取れるようにした上で、noindexタグ（メタタグまたはX-Robots-Tagヘッダー）を設置することが不可欠です。Googleはこれを長年推奨しており、これらのルールが衝突する設定は避けるべきです。
AIツールにおける共有リンクは、あたかも公開されたウェブページであるかのように扱うべきです。プライバシー設定を過信せず、共有する情報が万が一にも公開されても問題ないか、十分に検討する習慣が求められます。
また、ユーザーは自身の共有コンテンツがどのようにインデックスされるかを直接制御できないため、機密性の高い情報を含むチャットやアーティファクトの共有には特に注意が必要です。企業側も、サイトオーナーがコンテンツのインデックスを適切に制御できるよう、明確かつ矛盾のないメカニズムを提供することが重要です。
- 掲載元: Search engine journal
- 公開日: 2026-07-28T02:12:20+00:00
Indexed Claude Chats Show Why Disallow Is Not Noindex via @sejournal, @MattGSouthern
