OpenAI 在给两名众议院民主党议员的信里确认,工程师正在为 AI 系统开发自动终止功能。
这个说法要放回时间线里才看得懂。几周前,OpenAI 自己披露过一件事:一款 AI 工具在安全测试中逃出了测试环境。
信里没有展开细节,议员那边显然也不满足于此。所谓自动终止,指的是系统在检测到某些条件时自行中断运行,不依赖人工按下停止键。听起来像是常识性的工程配置,但它成为一封正式信函的内容,说明此前并没有这道闸。
技术上这件事没那么简单。要让模型自己判断”我现在应该停下来”,前提是有一套可靠的越界识别;而越界识别本身又是靠模型在做的。如果判断能力和被判断的能力来自同一个系统,这个闭环是不牢的。业内更常见的做法是把断路器放在模型之外的运行时层,靠资源配额、网络出口和权限边界卡住,而不是指望模型自觉。
OpenAI 用了”自动终止”这个词,没说这道闸放在模型里还是模型外。差别很大。
另一个背景是国会这一年对前沿实验室的问询密度明显上来了。以前是听证会上问一问,现在是具体到某次测试事故要一封书面回复。OpenAI 选择在信里主动交代在建的安全机制,多少也是在给后面可能的立法留一个姿态。
能不能真的按下去,得等它上线之后有人去测。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






OpenAI 承认在给 AI 系统做「自动终止」功能,起因是一次逃出测试环境