robots.txtでブロックされたURLがGoogleにインデックスされる理由

概要

Googleのジョン・ミューラー氏は、Search Consoleで「インデックス登録済みだがrobots.txtによってブロックされています」と報告される数千ものURLに関する質問に回答しました。この現象が起こる仕組みと、それに対処する方法について解説しています。

解説

この「robots.txtによってブロックされているにもかかわらずインデックスされている」という問題は、特にECサイトでフィルターや並べ替え、カート追加などのパラメータ付きURLを多く持つサイトでよく見られます。robots.txtはクローラーの巡回を制御し、クロールバジェットの無駄遣いを防ぐのに非常に有効なツールですが、ページが完全にインデックスされないことを保証するものではありません。

記事が指摘しているように、Googleが何らかの方法（特に内部リンク）でそのURLを認識した場合、robots.txtでブロックされていても、コンテンツを取得できないままURLだけをインデックスすることがあります。この状況自体が直ちにSEO上の問題となるわけではありませんが、検索結果に意図しないページが表示されたり、本来インデックスすべき重要なページへのクロールバジェットが分散されたりする可能性も考えられます。

実践的な対応としては、まずrobots.txtでadd-to-cartのような重要でないパラメータ付きURLのクロールをブロックするのは適切です。それに加えて、もしサイト内にこれらのブロックされたURLへの内部リンクが存在するなら、それらのリンクを削除するか、rel="nofollow"属性を追加することを検討しましょう。これにより、Googleはどのページを重視すべきかをより明確に理解し、サイト全体のSEOパフォーマンスを向上させることができます。

最後に、Search Consoleからの警告が必ずしも緊急の対応を必要とする「問題」であるとは限らない、というミューラー氏の指摘は重要です。技術的な健全性は保ちつつも、ユーザー体験とビジネス目標への影響を考慮して、本当に修正すべき点にリソースを集中させることが賢明です。