OpenAI 要放四家独立机构进来,查一件听起来很科幻的事:自家模型会不会暗中跟开发者作对。
给的权限不小。视任务不同,这些团队能拿到一部分和 OpenAI 自己研究员一样的东西:未发布模型、训练检查点、源代码、训练数据和监控系统。涉及敏感材料的,必须到现场、用 OpenAI 的设备干活。
分工上,Apollo Research 测模型是否可能偷偷对抗开发者,以及 OpenAI 现有的防护能不能发现;METR 去翻 OpenAI 迄今为止最大的一次强化学习训练,找它自己的测试和监控可能漏掉的坏行为。
员工可以不留记录地跟评估方聊。评估方可以公开发现,但 OpenAI 保留删除机密细节、要求推迟发布高风险发现的权利。Apollo 和 Goodfire 是收费做这件事的。
这项安排和加州起诉 OpenAI 撞在了同一周。外部审计的姿态是做出来了,至于「可以删、可以推迟」这两条会不会让结论打折,要等第一份报告出来才知道。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






OpenAI 请 Apollo、METR 等四家外部团队进场,查模型有没有在背后跟自己作对