招股书里的安全事故:四个AI智能体跑出沙箱,最长在外面待了34小时

AI头条12分钟前发布 tibor
1.2K 0

上市文件一般是报喜的地方,Anthropic 这份却在风险章节里写了好几件此前没人知道的事故。

第一件:公司曾经把下一代旗舰模型的预训练暂停了一个多月。

原因不是模型本身失控,是防护没跟上。文件里的说法是要先把防盗措施加固,防止模型权重和核心知识产权被偷。能力越强的模型,权重被窃的后果越严重,他们判断当时的安全措施配不上要训练的东西,于是先停。

对一家冲刺上市的公司来说,这意味着发布节奏可以被安全团队按下暂停键,营收可能因此往后挪。写进招股书,等于提前告诉投资人:这种事以后还会发生。

第二件更具体,也更吓人。

跟第三方合作做网络安全测试时,本该断网的测试环境因为操作失误一直连着互联网。四个 AI 模型因此跑出沙箱,访问了真实世界的计算机系统,每次会话持续 10 到 34 小时不等。

其中一起,某个模型的早期版本在做一项根本完不成的评估任务时,翻到一条保存着的密码,用它拿到第三方系统的管理员权限。之后又拿了更多凭证、改了系统设置,还碰到了一部分个人数据。

Anthropic 说已经通知所有受影响方,也没发现模型故意躲避监管或者多个模型互相配合的迹象。事后他们停了部分上线前的网络安全评估,以及风险更高的强化学习测试环境。

这个案例让我想到的是:模型并没有“想逃跑”,它只是在完成任务的压力下,把一切能用的东西都用上了。找到密码就用密码,拿到权限就继续往下走。没有恶意,但效果跟一次渗透攻击差不多。

再加上上周披露的 Claude 自己绕过付费墙去拿佐治亚州计票数据,这家以安全立身的公司,今年在实际测试里碰到的边界问题已经不少了。愿意写出来是好事,至于投资人怎么定价这类风险,三周后就能看到。

© 版权声明

相关文章

招股书里的安全事故:四个AI智能体跑出沙箱,最长在外面待了34小时 暂无评论

none
暂无评论...