OpenAI、Google、Microsoft、AnthropicがAI学習用スクレイピングの一括拒否で統一規格を採用

OpenAI、Google、Microsoft、Anthropicの4社は、ウェブサイト運営者が自社のコンテンツをAI学習用にスクレイピングされることを、複数社をまたいで一度に拒否できる新しい共通規格を採用することで合意しました。この動きは、Search Engine Roundtableが先に報じたもので、現在各AI企業のクローラーごとに個別の設定を強いられているパブリッシャーの不満の高まりに対応するものです。Metaもこの構想に条件付きで支持を表明しています。

新しい仕組みは、Anthropicの標準化担当テクニカルリードであるKevin Kelley氏が、Internet Engineering Task Force（IETF）の一環として提案したポリシートークンです。これは、ウェブサイトのrobots.txtファイル内に置かれます。robots.txtは、ウェブクローラーにサイトのどの部分にアクセスしてよいかを伝える長年のプロトコルです。これまでパブリッシャーは、OpenAIのGPTBot、GoogleのGoogle-Extended、AnthropicのClaudeBotなど、各AI企業のクローラーを個別にリストアップしてブロックする必要がありました。共有トークンを使えば、参加するすべてのAI企業が尊重する単一の設定を表現できます。

複数のAIクローラーに対する単一のシグナル

この規格は、自社のコンテンツをAI学習データセットから除外したいパブリッシャーにとって、オプトアウトの手続きを簡素化することを目的としています。各社ごとに個別のルールを維持する代わりに、ウェブサイトはrobots.txtファイルに共有トークンを含めるだけで、規格をサポートするAI企業はそれに応じてクローラーを制限します。このトークンは検索インデックスには影響せず、AI学習用をブロックしてもサイトは検索結果に表示され続けます。

Microsoftは、パブリッシャーがAI学習のオプトアウトと、AIグラウンディング（AIモデルがハルシネーションを減らすために検証済みの情報源を参照する行為）のオプトアウトを区別できる、きめ細かなコントロールを提供すると述べています。Googleはすでに、サイトがコンテンツをAI検索機能に表示するか、学習に使用するかを管理できる同様のコントロールを導入しており、通常の検索での表示には影響しません。Anthropicはすでに新しいシグナルを実装しており、GoogleとMicrosoftは来年のサポートを予定しています。OpenAIは今後数ヶ月以内に実装すると述べています。

業界の支持とスケジュール

この発表は、パブリッシャーが、しばしば明示的な許可なくモデル学習用にコンテンツを収集するAIクローラーの増加に苦慮している中で行われました。一部の組織は別のアプローチを試みています。Really Simple Licensing（RSL）規格はパブリッシャーがクローラーにアクセス料金を請求できるようにし、CloudflareはデフォルトでAIクローラーをブロックし始めています。新しい共有トークンは、複数のプロバイダー間で機能する、より軽量で標準化された代替手段を提供します。

Metaのコミュニケーション責任者であるAndy Stone氏は、このコンセプトに支持を表明しましたが、Metaがトークンを尊重するかどうかは確認しませんでした。「複数のプロバイダーに同時にそのような設定を伝える共通のシグナルを作ることは重要な一歩だと信じています」とStone氏は述べ、「他のAI企業とともに、業界全体での規格とその実装に取り組むことを楽しみにしています」と付け加えました。

パブリッシャーとAI企業への影響

パブリッシャーにとって、共有トークンは管理の負担を軽減し、自社のコンテンツを管理するための、より明確で一貫した方法を提供します。AI企業にとっては、共通規格の採用がコンテンツ制作者との緊張緩和や、無断スクレイピングをめぐる法的紛争の回避につながる可能性があります。この動きはまた、より透明性が高く同意に基づくデータ慣行への業界全体の流れを反映しています。

この規格はまだIETF内で開発中であり、その効果は広範な採用にかかっています。主要なAI企業4社がコミットしましたが、小規模なAIスタートアップや検索エンジンを含む他のプレーヤーはまだ支持を表明していません。それでも、主要企業間の連携は、AIデータ収集に対するより統一されたアプローチへの重要な一歩であり、パブリッシャーに、ますますAI主導のウェブにおいて自らの作品を守るための実用的なツールを提供します。