Cloudflare 于 9 月 15 日宣布上线一项名为 Disallow AI Training 的新配置，旨在让网站管理员在保持搜索引擎可见性的同时，阻止内容被用于 AI 训练。该设置已获得苹果、谷歌和微软的遵守承诺，意味着这三家主要平台将尊重网站方的这一选择。

启用该设置后，Cloudflare 不会一刀切地拦截所有爬虫。对于同时承担搜索索引和 AI 训练任务的混合型爬虫，系统仍会放行，但前提是将其标记为“Accountable”（可问责）。其他专门用于 AI 训练的爬虫则继续被拦截。官方提醒，全面拦截这类爬虫可能对网站的搜索排名产生负面影响。

对于已有配置，Cloudflare 表示大多数客户无需手动调整。此前在 Training 选项中选择“Block”或“Block on pages with ads”的站点，将自动迁移至新的 Disallow AI Training 设置。这一迁移策略降低了管理员的运维负担。

与此同时，围绕 AI 训练透明度的工具也在推进。谷歌将在未来几周内推出 Google-Extended 的 URL 层级透明度工具，苹果正在开发自己的 URL 层级工具，微软则计划在 2027 年初支持通过 robots.txt 拒绝 AI 训练。这些举措共同构成了网站在 AI 时代控制内容用途的渐进式路径。