雅库布·帕乔基周日发的那篇文章,最扎眼的不是“AI很危险”,是他给出的时间感——“用不了多久”。
他的推理链条是这样的:在相对较短的时间里,模型已经能操作电脑、能和人以及其他AI系统协作、能自己开展研究项目。下一步就是在没有人类干预的情况下改进自身。这个东西有个名字,叫递归式自我改进。
然后是那句让人不太舒服的:我担心,没有人为机器智能持续快速提升所带来的后果做好准备。
说这话的人是 OpenAI 的首席科学家,不是外部批评者。
他给的方案有两条。一条是更严格地引导模型,让它和人类利益对齐;另一条更直接——“在必要时放慢未来的开发速度”。他还加了句预期:希望在建立共同安全门槛之前,自愿放缓会成为普遍现象。
自愿两个字很微妙。它意味着现在没有任何机制能强制任何人减速,只能靠对方也想减。
把这段和 OpenAI 自己披露的另一组数据放一块看会更有意思:公司一边在用智能体加快AI研发,一边承认无法假设对齐和安全能力一定追得上模型能力,而且更强大的系统可能更难监控。这基本上是在说,我们在加速,同时不确定刹车够不够用。
帕乔基此前还讲过一句更硬的:目前没有任何实验室把AI的对齐和监控做到了足够可靠的程度。他呼吁各国政府把国际协调提上优先级。
这类表态的实际效果通常取决于第二家公司会不会跟。到目前为止,还没有谁公开说“我们也慢一点”。
© 版权声明
文章版权归作者所有,未经允许请勿转载。






OpenAI首席科学家自己说的:模型快能改自己了,希望同行主动踩刹车