Microsoft Clarityがrobots.txt無視ボットを特定

概要

Microsoft ClarityのBot Analyticsダッシュボードに、ウェブサイトのrobots.txtルールに違反するボットリクエストを表示する新機能が追加されました。この機能により、ボットの全アクティビティに対する違反リクエストの割合を一定期間で確認できます。既存のAI Visibilityツール群に追加される形です。

Clarityは、ボットがウェブサイトにリクエストを行った際に、そのパスがrobots.txtの指示によって許可されていないかどうかをチェックします。

ウェブサイトの管理者は、ボット運営者、ボット名、リクエストタイプ、リクエストされたURLやパスによってボットリクエストをフィルタリングし、ルールに従うクローラーと違反するクローラーのパターンを比較できます。

この機能は自動的には有効化されません。プロジェクト管理者がプロジェクト設定のAI Visibilityセクションで有効にする必要があります。サポートされるCDN（Fastly、Amazon CloudFront、Cloudflare、Azure Front Door、Akamai）を利用しているサイト、または最新のMicrosoft Clarityプラグインを使用しているWordPressサイトで利用可能です。

この機能は、AIクローラーがサーバーリソースを消費し、分析データが歪められる懸念に対処する上で重要です。Clarityは無料で利用できるため、クローラーがrobots.txtのルールを尊重しているかを確認する費用のかからない方法となります。

ただし、リクエストが発生した事実は示しますが、その理由までは分かりません。また、robots.txtはあくまで「助言」であり、トラフィックをブロックするものではないため、Clarityはブロックされずに通過したリクエストを記録します。

これにより、これまで手作業で困難だったサーバーログの解析とrobots.txtとの照合が自動化され、ルール違反のクローラーからのリクエスト数を自動的に把握できるようになります。

解説

この新しいMicrosoft Clarityの機能は、ウェブサイト運営者にとって非常に実用的なメリットをもたらします。特に、不必要なボット、とりわけサーバーリソースを大量に消費する可能性のあるAIクローラーの活動を監視する上で役立ちます。

サイトのリソース消費を効率的に管理し、通常のユーザー行動に関するアクセス解析データがボット活動によって歪められるのを防ぐのに貢献します。

robots.txtはあくまで検索エンジンやボットに対する「お願い」であり、強制力はありません。しかし、このツールを使用することで、ウェブサイトの指示を無視するボットを具体的に特定できるようになります。これにより、サイト運営者は必要に応じて、特定のIPアドレスをブロックするなどの追加的な対策を検討するための根拠を得ることができます。

無料で利用できるツールであるため、コストをかけずにボットの挙動を監視できる点は大きな魅力です。ただし、この機能が利用できるサイトは特定のCDNを利用しているか、WordPressサイトに限定される点には注意が必要です。

また、リクエストがrobots.txtを無視して行われたという事実はわかりますが、なぜ無視されたのかという「理由」までは提供されません。この点を理解した上で、あくまで状況把握と初期対応のためのツールとして活用するのが賢明でしょう。