LeCun 新论文：小 660 倍的模型，比 720 亿参数的 AI 更懂世界

杨立昆骂大语言模型不是一两天了。这次他带着证明来的。

10 月 29 日，他的 AMI Labs 与纽约大学、布朗大学合作，和 Randall Balestriero 一起发了篇论文，把“靠预测下一个词来学习”称为通向世界共享表征的“一条极其低效的路”。

背景是学界一个流传已久的猜想：用文本、图像、声音分别训练的模型，随着规模变大，内部形成的现实图景会趋于一致。之前这只是个猜测。这篇论文证明了它在什么条件下成立：模型必须从同一场景的两个视图学习，比如一张照片和它的说明文字。预测下一个词的做法，学习材料只是同一份文档的不同片段，不满足这个条件。

实验结果的差距很大。同样的文本，他们的方法用 2160 万个训练样本，就达到了下一词预测要 9 亿个样本才能达到的、与图像模型的接近程度，差了 40 多倍。一个 1.09 亿参数的文本模型，与图像 AI 的对齐程度比所有参测语言模型都好，最大的一个到 Qwen2.5-72B，体量相差 660 倍。

标题里的“更懂世界”要打个折扣。这里比的是表征和图像模型的对齐程度，一个很窄的指标。它不是说这个小模型能写代码、能回答问题，用通用能力去比，它大概什么都赢不了。

这篇论文真正动摇的是一个默认前提：只要堆够规模和 Token，语言模型自然会理解世界。LeCun 的说法是，方向错了，再多数据也是事倍功半。

这也正是他离开 Meta 后创办 AMI Labs 押注的东西。业界目前的回应大概率还是继续堆，毕竟现在的模型能赚钱。不过今年算力和能耗账越来越难看，“能不能少用点样本”这种问题，听的人比前几年多了。