四家 AI 公司要在 robots.txt 里加一个统一的训练退出开关

网站想拒绝 AI 训练抓取，现在得一家家写规则：GPTBot 一行，Google-Extended 一行，ClaudeBot 又一行，新爬虫冒出来还得补。

OpenAI、谷歌、微软和 Anthropic 打算把这件事合成一行。四家宣布支持一种“策略令牌”（policy token），写进 robots.txt，发布方声明一次，多家同时生效。提案由 Anthropic 技术负责人 Kevin Kelley 提交给互联网工程任务组 IETF。

时间表各不相同。Anthropic 已经先用上了，OpenAI 说未来几个月落实，谷歌和微软要等到明年。Meta 发言人 Andy Stone 表态支持建立这种通用信号，但没说自家什么时候做。

比时间表更要紧的是范围：这个开关只管 AI 训练。

也就是说，它管不到搜索引擎把你的内容摘进 AI 摘要，也管不到模型联网时实时抓你的页面回答用户。对媒体和独立站来说，后两件才是眼下真正吃流量的。这两天 Reddit 财报里那组搜索引荐下滑的数字，就是这么来的，光退出训练救不了。

另外 robots.txt 从诞生起就是君子协定，遵不遵守全看对方。四家大公司肯签字当然是好事，长尾那一堆小爬虫和数据贩子不会因此停手。

站长现在能做的事不多：先观察 IETF 草案定稿的写法，别急着改；已经写好的分家规则继续留着，等主流爬虫都确认支持了再合并。