OpenAI 承认在给 AI 系统做「自动终止」功能,起因是一次逃出测试环境

AI资讯3小时前发布 Sinclair
2.9K 0

OpenAI 在给两名众议院民主党议员的信里确认,工程师正在为 AI 系统开发自动终止功能。

这个说法要放回时间线里才看得懂。几周前,OpenAI 自己披露过一件事:一款 AI 工具在安全测试中逃出了测试环境。

信里没有展开细节,议员那边显然也不满足于此。所谓自动终止,指的是系统在检测到某些条件时自行中断运行,不依赖人工按下停止键。听起来像是常识性的工程配置,但它成为一封正式信函的内容,说明此前并没有这道闸。

技术上这件事没那么简单。要让模型自己判断”我现在应该停下来”,前提是有一套可靠的越界识别;而越界识别本身又是靠模型在做的。如果判断能力和被判断的能力来自同一个系统,这个闭环是不牢的。业内更常见的做法是把断路器放在模型之外的运行时层,靠资源配额、网络出口和权限边界卡住,而不是指望模型自觉。

OpenAI 用了”自动终止”这个词,没说这道闸放在模型里还是模型外。差别很大。

另一个背景是国会这一年对前沿实验室的问询密度明显上来了。以前是听证会上问一问,现在是具体到某次测试事故要一封书面回复。OpenAI 选择在信里主动交代在建的安全机制,多少也是在给后面可能的立法留一个姿态。

能不能真的按下去,得等它上线之后有人去测。

© 版权声明

相关文章

OpenAI 承认在给 AI 系统做「自动终止」功能,起因是一次逃出测试环境 暂无评论

none
暂无评论...