一份 robots.txt 管四家巨头：OpenAI、谷歌、微软、Anthropic 同意统一「AI 抓取退出」标准

过去两年，内容网站运营者最常做的一件事，是给不同的 AI 公司分别发邮件、填表单、改配置，只为了让自家的文章不被拿去训练模型。这套流程既繁琐又不确定——你永远不知道自己有没有漏掉某家新冒出来的爬虫。11 月 1 日，四家大模型公司同时松了口：以后可以一次说清楚。

一分钟速览

• OpenAI、谷歌、微软、Anthropic 宣布采用统一的「AI 抓取退出」标准，站点可一次性向多家 AI 企业申明内容使用偏好。
• 该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，集成在网站现有的 robots.txt 中。
• Anthropic 已率先采纳；OpenAI 计划未来几个月落实；谷歌和微软预计明年支持。
• Meta 发言人称支持建立此类通用信号，但未给出具体落地时间表。

标准怎么工作

robots.txt 是网站根目录下的一个纯文本文件，二十多年来一直用来告诉爬虫「哪些能抓、哪些不能抓」，覆盖搜索索引、网页归档等场景。这次的新标准没有另起炉灶，而是在这个老文件里增加专门表达「AI 训练用途」偏好的字段。

关键变化在于「一次申明、多方读取」。在旧模式下，网站要在每家公司的后台分别登记，规则颗粒度、生效时间、撤销方式各不相同；新模式下，站点把偏好写进 robots.txt，任何遵守该标准的 AI 企业读取同一份声明即可。对于内容量大的媒体、论坛、独立博客，这相当于把 N 份重复劳动压缩成 1 份。

为什么是现在

时间点并不意外。过去一年，AI 爬虫带来的流量压力和版权争议同时升温：内容方抱怨服务器被抓到过载，创作者抱怨作品被无偿用于训练，AI 公司则抱怨每家网站规则不一、合规成本高。三方都想要一个「统一的开关」，标准因此有了落地空间。

另一个推动力是监管。欧盟 AI 法案对训练数据来源的透明度提出了要求，各成员国在执行层面需要可核查的技术手段。把偏好写进 robots.txt，是最容易被审计、也最容易被机器读取的形式。

谁先落地，谁在观望

四家公司的进度并不一致。Anthropic 已经率先采纳，这与它自己就是提案方有关；OpenAI 表示会在未来几个月内落实；谷歌和微软的时间表放到了明年。Meta 的态度更微妙——发言人对「建立通用信号」表示支持，但没有承诺什么时候真正读取这个字段。

这种节奏差本身就是问题。标准的价值取决于覆盖率：如果只有一部分公司遵守，内容方仍然要为剩下的人单独配置，重复劳动并没有真正消失。更现实的情况可能是未来一两年内出现「双轨制」——一部分流量走新标准，一部分仍靠单独协议。

三个尚未回答的问题

第一，约束力。robots.txt 从来不是法律文件，它依赖爬虫的自觉。对不遵守的抓取方，网站能做的仍然有限：封 IP、上验证码、走法律程序，成本都不低。

第二，颗粒度。内容方想表达的往往不是简单的「允许/禁止」，而是「允许搜索索引、禁止训练」「允许非商业研究、禁止商业训练」。新标准能表达多细的偏好，directly 决定了它是否够用。

第三，撤回机制。今天写下的偏好，对昨天已经抓走的数据没有追溯力。已经进入训练集的内容如何退出，标准本身给不出答案。

趋势洞察

这件事的意义，可能不在于它立刻解决了版权问题，而在于它把「AI 训练数据的使用许可」从一对一谈判，推向了一套公共基础设施。基础设施一旦成型，后续的计量、审计、付费都有可能长在它上面。

对内容方来说，短期最实际的动作是把 robots.txt 里的 AI 相关字段补上——成本很低，收益是未来谈判时的明确立场。对 AI 公司来说，真正的考验不在声明，而在工程实现：读取一个字段容易，让全链路爬虫都尊重它，才是合规的分水岭。