针对 AI 爬虫持续抓取网站内容用于模型训练所引发的争议，四家主要 AI 企业给出了统一的应对方案。OpenAI、谷歌、微软与 Anthropic 近日宣布，将共同采用一项新标准，使内容发布方能够通过该标准拒绝 AI 抓取自家网站内容。

这一机制的核心在于简化声明流程。按照现行做法，网站必须向每一家 AI 企业分别单独申明自身对 AI 训练相关内容的使用偏好，操作繁琐且难以覆盖全部抓取方。新标准允许发布方一次性向多家 AI 企业统一表达偏好，从而免去逐家配置的负担。

从技术实现看，该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，并将集成在网站的 robots.txt 文件中。robots.txt 长期用于告知网络爬虫哪些内容允许抓取、哪些禁止，适用场景涵盖搜索索引、网页归档以及 AI 模型训练。

落地节奏方面，各厂商进度不一。Anthropic 已率先采纳该标准，OpenAI 计划在未来几个月内落实，谷歌和微软则预计于明年支持。Meta 发言人 Andy Stone 表示支持建立此类通用信号，但未明确具体落地计划。

对内容发布方而言，新标准提供了一条统一表达内容使用偏好的通道；对 AI 企业来说，则是在爬虫治理与内容授权议题上的一次协同表态。其实际约束效果，仍取决于各厂商的落实进度与执行力度。