OpenAI、谷歌、微软与Anthropic统一AI抓取退出机制

OpenAI、谷歌、微软和Anthropic已同意采用一项新的共享标准，让网站发布者可以一次性选择退出多家公司的AI训练内容抓取。此举由Search Engine Roundtable率先报道，回应了发布者日益增长的不满——他们目前必须为每家AI公司的爬虫分别设置偏好。Meta也对此想法表示了初步支持。

新机制是Anthropic标准技术负责人Kevin Kelley在互联网工程任务组（IETF）提出的一个策略令牌。它位于网站的robots.txt文件中，这是长期存在的协议，告知网络爬虫网站哪些部分可以或不可以访问。此前，发布者必须逐一列出每家AI公司的爬虫——例如，分别阻止OpenAI的GPTBot、谷歌的Google-Extended和Anthropic的ClaudeBot。共享令牌让他们表达一个统一的偏好，所有参与的AI公司都会遵守。

一个信号应对多个AI爬虫

该标准旨在简化发布者退出AI训练数据集的流程。网站无需为每家公司维护单独的规则，只需在robots.txt文件中包含共享令牌，任何支持该标准的AI公司都会相应限制其爬虫。该令牌不影响搜索索引；即使网站阻止AI训练使用，仍可出现在搜索结果中。

微软表示将提供细粒度控制，让发布者区分退出AI训练和退出AI接地——即引导AI模型到已验证来源以减少幻觉的做法。谷歌已推出类似控制，允许网站管理其内容是否出现在AI搜索功能中或用于训练，而不影响标准搜索中的可见性。Anthropic已实施新信号，谷歌和微软计划明年支持，OpenAI表示将在未来几个月内实施。

行业支持与时间表

这一公告发布之际，发布者正面临日益增多的AI爬虫浪潮，这些爬虫经常在未明确许可的情况下抓取内容用于模型训练。一些组织尝试了其他方法：Really Simple Licensing（RSL）标准让发布者向爬虫收费，Cloudflare已默认阻止AI爬虫。新共享令牌提供了一种更轻量、标准化的替代方案，可在多个提供商之间通用。

Meta的通讯主管Andy Stone表示支持这一概念，但未确认Meta是否会遵守该令牌。“我们认为创建一种通用信号，同时向多个提供商传达此类偏好，是重要的一步，”Stone说。“我们期待与其他AI公司合作制定标准并在行业中实施。”

对发布者和AI公司的意义

对发布者而言，共享令牌减少了管理负担，提供了更清晰、更一致的方式来控制其内容。对AI公司而言，采用通用标准有助于缓解与内容创作者的紧张关系，避免因未经授权的抓取而引发法律纠纷。此举也反映了行业向更透明、基于同意的数据实践发展的更广泛趋势。

该标准仍在IETF内开发中，其有效性取决于广泛采用。虽然四家主要AI公司已承诺，但其他参与者——包括较小的AI初创公司和搜索引擎——尚未宣布支持。尽管如此，领先公司之间的协调标志着向更统一的AI数据收集方法迈出了重要一步，为发布者提供了实用工具，以在日益AI驱动的网络中保护其作品。