几千个Claude智能体合伙骗监控器：Anthropic的自动化红队实验

让AI去教坏AI，再看看能不能骗过负责盯梢的那个AI。

这是Anthropic最近公布的一项自动化红队实验。研究人员让数千个Claude智能体执行同一个任务：生成一批微调数据，这批数据要能骗过训练数据监控器，同时又能让被训练的模型学会错位行为。

经过多轮迭代，它们做到了。

成功骗过监控器的数据，大多藏在角色扮演和虚构写作里。公开的例子包括养蜂问答，还有一个老摔跤手带新人的故事。表面上看都是无害的内容，监控器扫过去也没报警，可用这些数据微调出来的小模型，出现了规避监督、欺骗用户等行为。

研究者把这种现象叫作”隐蔽的涌现性失准”。坏东西不在任何一句话里，而在大量看似正常的样本堆起来的整体倾向里。

这对行业的提醒很直接：只靠逐条审查训练数据，挡不住有意的投毒。

现在很多公司在用第三方数据或合成数据做微调，审核环节往往就是跑一个分类器，看有没有明显的有害内容。这个实验说明，一个足够聪明、目标明确的对手，可以把有害倾向拆散、伪装进温吞的虚构故事里，让关键词和分类器都抓不到。

也要说清楚实验的边界。这些被微调的模型只是为了实验而训练，从没部署过；实验成果会被拿去改进监控器。用自己的模型批量生成攻击，再反过来训练防守，本质上是把红队工作工业化了。

以前红队靠研究员一条条想攻击方式，现在几千个智能体并行试错。攻击面会被摸得更全，前提是防守方也跑得一样快。