说这话的人,坐在 OpenAI 的董事会里。
保罗·克里斯蒂亚诺(Paul Christiano)是 RLHF 的发明者,ChatGPT 的训练就用到了这项技术。他周一在 Dwarkesh 播客上说,以美国 AI 实验室目前的安全防护水平,继续改进预训练和强化学习“不是好事”。
被问到实验室该不该暂停,他回答:“我认为应该。”对于那些可能很快被偷走的算法改进,他说得更直接:“我觉得他们现在就该停下。”
他担心的是一个具体场景:中国在竞赛中途偷走一个超级智能。到了那一步,就算实验室发现自己的模型失控,也没法放慢速度。
主持人德瓦克什·帕特尔(Dwarkesh Patel)顺带提了个例子:有家安全创业公司在 12 小时内就进入了 Anthropic 的全部 Slack。
帕特尔随后追问:“可你是 OpenAI 的董事。”
克里斯蒂亚诺回应:“在这场对话里非常重要的一点是,我不是以 OpenAI 董事会成员的身份在说话。”
他还给出了自己的概率判断:如果没有任何因素让进展放缓,一年内出现超级智能的可能大约是三分之一;而这段时间里发生 AI 接管的风险,他认为“更像是 10%,而不是 1%”。
他这番话最有分量的,是他给的理由。他没有说模型太危险所以要停,而是说实验室守不住自己的成果:防护跟不上,跑得越快,能被偷走的东西就越值钱。
RLHF 当年让聊天模型变得好用,现在它的发明者站出来说,该先把门锁好再往前跑。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






RLHF发明者、OpenAI董事克里斯蒂亚诺:美国AI实验室现在就该暂停