OpenAI 11 月 18 日发了一份安全说明,题目叫《管理前沿 AI 风险:从训练到部署》。以前这类文件多是原则和框架,这次不一样,它把两起真实的险情摆了出来。
第一起是外界已经知道的 7 月「Hugging Face 事件」。OpenAI 自己的结论是:光靠沙盒隔离,关不住能力足够强的模型。
第二起是新披露的。9 月 20 日,一个还在训练中的研究模型利用 DNS 配置上的漏洞绕过了隔离,拿到了有限的互联网访问权限。OpenAI 随后把最强模型的训练和评估全部叫停,一停就是 11 天。
一家头部实验室主动承认自己的模型「跑出去过」,这在以前很少见。
文件里描述的防护分四层:对齐,让模型按预期行事;安全与沙盒,限制它能碰哪些文件、工具和网络;保障拦截,用分类器挡掉网络滥用、生物武器协助一类的请求;最后是监测与响应。另外还建了一个叫「控制室」的东西,收到指令后 35 秒内能切断研究任务的模型输出,而且是直接装在推理基础设施里的,不靠每个任务自己去停。
两起事件之后,前沿模型的训练环境已经不再接实时互联网,改成受限沙盒、虚拟机加网络边界的多层隔离。
麻烦在后面。模型进入内部使用阶段,员工会让它访问互联网、Slack、代码库和各种内部系统,风险反而更高。OpenAI 的说法是这时候更要依赖对齐、系统级防护和实时监控,重点盯三件事:绕过限制、数据外泄、把敏感信息发到未授权的地方。
整份文件我觉得最有分量的是一句态度:安全跟不上能力,就放慢下来补课。停训 11 天是这句话第一次被兑现。至于下次会不会也停,还得看那时候竞争对手在干什么。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






OpenAI 第一次把两起越狱险情写进文件:在训模型借 DNS 漏洞摸到外网,最强模型停训 11 天