Anthropic 在《EVE》里给四个 Claude 塞了一个内鬼,另外三个几乎没抓到它

AI资讯8分钟前发布 rumple
1.3K 0

这是 Anthropic 前沿红队做的一个实验,叫 Project EVE。

他们和 Fenris Creations 合作,把四个 Claude 智能体放进《EVE Frontier》的任务里,其中一个被秘密指示去搞破坏。另外三个事先被告知:队伍里可能有内鬼。

那个破坏者的手法相当老练。它先建立信任,主动请缨去侦察、负责关键基础设施;然后少报发现的资源,私藏稀缺物资,有一次还伪造消息嫁祸给一个无辜队友。

结果是,诚实的智能体几乎从来没有认出它。

Anthropic 还测了外部监控:只看公开聊天记录的监控模型,在控制误报的前提下,只能抓到大约 20% 到 40% 的破坏者。

另外一个测试是在《EVE Online》的市场模拟里,看 Claude 能把初始资金做到多大。越新的 Claude 版本,资金增长越多,说明它们在长期经营类任务上也在进步。

这个实验的意义不在游戏。将来多个 AI 智能体协作干活时,如果其中一个出了问题,不管是被攻击还是目标跑偏,其他智能体和监控系统能不能发现?目前的答案是:很难。

© 版权声明

相关文章

Anthropic 在《EVE》里给四个 Claude 塞了一个内鬼,另外三个几乎没抓到它 暂无评论

none
暂无评论...