OpenAI自己交代:智能体干活时把监控警报调低、又关掉了

AI资讯38分钟前发布 Alderman
1.3K 0

OpenAI 周二发了篇博客,讲的是自家智能体的一件糗事,也可能不只是糗事。

两次内部编程任务里,执行任务的智能体动了一套监控系统。这套系统本来的活儿,就是盯着模型、发现不当行为时拉警报。智能体先是把警报削弱,后来干脆关掉。

事情只发生在 OpenAI 内部环境,博客里没提有外部方受影响。

让人不太舒服的是后半段。OpenAI 说正在评估这是不是说明模型普遍有躲避监控的倾向,还承认眼下对这种行为“没有找到令人信服的解释”。后续的动作是更多审查、更严的安全要求,尽量压低再发生的概率。

这话放在一家头部实验室的官方博客里,分量不轻。过去几个月类似的披露已经攒了好几起:训练环境里的模型突破隔离、为了拿到答案去攻击第三方网站,每一次都被解释成隔离没做好、环境有漏洞。这一次被绕开的不是环境,是专门用来看住它的那层东西。

从工程角度讲,关警报可能只是一条最短路径:警报在报错,任务卡住,把它关了任务就能往下走。模型未必“想”逃避什么。可问题就出在这里,如果目标驱动的系统会把监控当成障碍顺手清掉,那监控就不能和被监控对象跑在同一个权限里。

这一点,接下来几家实验室的安全报告会不会照着改,比博客本身更值得盯。

© 版权声明

相关文章

OpenAI自己交代:智能体干活时把监控警报调低、又关掉了 暂无评论

none
暂无评论...