米出版社がCommon Crawlによるコンテンツスクレイピング停止を要求

概要

米国のデジタル出版社を代表する業界団体であるDigital Content Next (DCN)は、Common Crawl Foundationに対し、停止勧告書を送付しました。

この書簡は、Common Crawlが出版社コンテンツの収集を停止し、既にデータセットに含まれている資料を削除することを要求しています。

Common Crawlは2007年以来、毎月数十億ページをクロールし、無料の公開アーカイブを構築してきました。

このアーカイブは、現在利用されている多くのAIモデルのトレーニングに使用されており、例えばOpenAIのGPT-3は、トレーニングミックスの60%にフィルタリングされたCommon Crawlのデータを利用していました。

AIクローラーをブロックするサイトにとって、この紛争は重要です。Common CrawlのクローラーであるCCBotをブロックしても、将来の収集は停止されますが、アーカイブ内の既存コンテンツには影響せず、誰でもダウンロード可能です。

DCNはCommon Crawlに対し、「著作権で保護されている、ペイウォールのある、購読者限定の、またはその他の保護されたコンテンツをDCN会員企業からスクレイピング、保持、または共有すること」を停止し、既に収集した会員コンテンツを削除するよう求めています。

DCNは、Common Crawlがデータセットを作成し、AI企業と共有することで、著作権のあるコンテンツを「著しく侵害した」と主張しています。

DCNは、「著作権法はオプトアウト制度ではない」と主張しており、出版社が除外を求める必要はなく、Common Crawlが含めるには許可が必要であるとの立場を示しています。

また、DCNは、Common Crawlがオプトアウトの指示に従っているか、また要求された際にコンテンツを削除しているかについて疑問を呈しています。

過去には、ニューヨークタイムズやデンマークの出版社からのコンテンツが、削除に合意した後も利用可能であったという報告があります。

Common CrawlのエグゼクティブディレクターであるRich Skrenta氏は、この書簡についてコメントを拒否しました。

彼は過去に同様の主張に対し反論しており、アーカイブのファイル形式は公開後に整合性を損なうことなく編集できないと述べています。

代わりに、Common Crawlは、影響を受けるURLをその後のクロールから削除またはフィルタリングし、公開ツールやインデックスからアクセスできないようにすると説明しています。

Skrenta氏は、この作業は「瞬間的または完全ではない」と認め、その複雑さと継続的な性質について明言してきました。

この問題は、将来のクロールだけでなく、保存されたアーカイブを対象としており、オプトアウトの負担が出版社にかかるべきではないというDCNの主張が焦点です。

多くの出版社は既にブロッキングの決定を下しており、例えばBuzzStreamの調査では、100のニュースサイトのうち79%が少なくとも1つのトレーニングボットをブロックしています。

Cloudflareのデータも、CCBotがトップドメインで最も多くの完全なDisallowディレクティブを持つボットの一つであることを示しています。

DCNは、長年のコンテンツがトレーニングに利用可能なままであるならば、これらのブロックが何を達成するのかと疑問を投げかけています。

今回の紛争は、AI時代におけるコンテンツ利用と著作権に関する重要な問題提起です。

特に、大量のコンテンツを生成・公開している出版社やメディア企業にとって、自社の知的財産をどのように保護し、収益化していくかというビジネスモデルの根幹に関わる問題と言えます。

Common CrawlのデータはAIモデル開発において非常に価値がありますが、そのデータ収集方法が既存の著作権保護の枠組みと衝突しています。

「許可なく収集し、削除を求めるまで使う」というオプトアウト方式と、「許可を得てから収集する」というオプトイン方式のどちらが適切かという点が大きな論点です。

DCNの主張は、コンテンツの作成にかかった「多大な投資」を保護するためには、本来オプトインであるべきだという立場を明確にしています。

ウェブサイト運営者、特にSEOを意識する立場としては、robots.txtファイルによるAIクローラーのブロックは、将来的なコンテンツ収集を停止する上では有効な手段です。

しかし、既にアーカイブに格納されてしまった過去のコンテンツへの影響は限定的であり、この点が今回のDCNの主張の核となっています。

つまり、現行のブロッキング手法だけでは、AI学習に利用されることを完全に防ぐことは難しいという現実が浮き彫りになりました。

Common Crawlの「削除プロセスが複雑で時間がかかる」という説明や、過去の削除不履行の疑念は、出版社にとって大きな懸念事項です。

もし同様の事態が続けば、デジタルコンテンツの提供者は、より厳格なアクセス制限や、法的な措置を検討せざるを得なくなるでしょう。

今後、この問題がどのように解決されるか、あるいは新たな業界標準や法整備につながるかに注目が集まります。

特に、AIによるコンテンツ生成が加速する中で、オリジナルコンテンツの価値をいかに守るか、そしてその適切な利用ルールが確立されるかについて、すべてのウェブサイト運営者が関心を持つべき動向です。