四家 AI 巨头同时点头：robots.txt 里多了一个跨公司的“退出”开关

一个网站主如果想告诉 AI 公司“别拿我的内容去训练”，过去要做什么？去 OpenAI 的说明页登记一次，去谷歌的爬虫设置里再改一次，去微软的 Bing 后台勾一次，甚至还要给 Anthropic 单独发一封邮件。四份表单、四套规则、四种生效时间。本周之后，这件事可能只需要在 robots.txt 里加一段约定的标记。

一分钟速览

• OpenAI、谷歌、微软、Anthropic 同意采用一种共享的“策略令牌”信号，让网站一次性表达 AI 训练偏好
• 该机制由 Anthropic 的标准技术负责人 Kevin Kelley 在 IETF 提出，写在网站根目录的 robots.txt 里
• 过去网站必须向每家公司分别声明偏好，现在一个标记可以覆盖多个遵守该标准的爬虫
• Anthropic 已采用；谷歌与微软计划明年支持；OpenAI 表示将在未来几个月内落地
• Meta 的传播负责人公开表示支持这一方向，但未承诺是否会遵守

机制：一个标记，多方读取

robots.txt 是互联网上一个很老的约定：网站用纯文本告诉爬虫，哪些目录可以抓，哪些不要碰。它没有法律强制力，靠的是各方自愿遵守。这次的新机制没有推翻这个框架，而是在里面加了一层“策略令牌”——一段标准化的声明，表明本站内容是否允许用于 AI 训练、是否允许用于 AI 检索增强。

关键变化在于“共享”。以前每家公司定义自己的字段和路径，网站主必须逐一适配；现在这个令牌是跨厂商的公共约定，写一次，所有参与方都能解析。对中小网站来说，这是从“四份合同”变成“一份公告”。

微软还补充了更细的控制项：允许网站分别选择退出“训练”和“接地”（即让模型引用经过核验的来源来减少幻觉），并明确即使网站选择退出，它在 Bing 搜索结果里的展示不受影响。这一点很重要——它把“搜索索引”和“AI 训练”切成了两件事。

为什么是现在

因为压力已经积累到了一个临界点。过去两年，AI 爬虫的流量在很多站点上超过了传统搜索引擎，带宽成本上升，内容被无偿使用，而由此产生的流量回报却在下降。出版商的反制手段也在升级：有的采用 RSL 许可标准，向爬虫收费；有的直接用 Cloudflare 默认拦截 AI 爬虫；还有的干脆把内容放进登录墙后面。

当拦截成为常态，AI 公司拿到的公开语料会越来越差，模型质量会受影响。与其被动应对零散的封锁，不如给出一个统一的退出通道——这既能安抚监管，也能让“愿意被训练”的站点继续供给内容。这是一个对双方都有台阶下的方案。

别高估它，也别低估它

先说要泼的冷水。这套机制完全自愿，没有强制执行力。一家不遵守约定的公司，照样可以无视令牌继续抓取；网站主能做的，仍然只有封 IP、上验证、走法律途径。它解决的是“善意爬虫如何识别意愿”，解决不了“恶意爬虫”。

各家态度的差异也说明了这一点。Anthropic 已经采用，谷歌和微软排到了明年，OpenAI 说“未来几个月”。时间表的差异，本身就是商业考量的体现：谁的内容获取压力大，谁就更有动力先落地。

但也不该低估它。标准的意义在于降低交易成本。当四家主要厂商都承认同一个信号，网站主的合规成本就从“逐个适配”降到“一次声明”，这会显著提高实际执行率。而一旦执行率上去，“不遵守”的公司就会在舆论和监管层面承受更大压力。

这意味着什么

这更像是 AI 内容生态的一次“停战协议”：版权方不再一味封锁，模型公司不再一味抓取，双方用一个技术约定划出边界。它不会终结争议，但会把争议从“抓不抓”转移到“怎么定价”。

接下来值得关注两件事：一是这个令牌会不会被主流建站工具（比如 WordPress、Shopify）默认集成，那才是真正的普及信号；二是会不会出现配套的许可与计费机制，让“允许训练”变成一门可以标价的生意。

如果这两件事都发生，AI 训练数据的获取方式，会从“先抓了再说”变成“先谈好再抓”。对整个行业来说，这是一次成本结构的重写。