普林斯顿用 8 个孩子三年里听到的话训练 AI,关键一步是让它“睡觉”

AI资讯8分钟前发布 bex
2.8K 0

一个孩子头几年只听到几百万个词,就能开口说话;训练一个大模型却要几万亿个词。这中间的差距到底从哪来,到现在也没完全搞清楚。

普林斯顿的研究团队换了个思路去问这个问题。他们在几个家庭里装了摄像头和麦克风,把孩子从出生到快三岁的大部分日常都录了下来。然后给 8 个孩子各建一个模型,每个模型只学自己那个孩子当天听到的东西,一天一天往前推。

模型从零开始,不知道一个词在哪结束、下一个在哪开始,也从没见过文字。

一开始效果很差:今天听到的,明天几乎记不住。到了相当于两岁的时候,一个词都没学会。

转折点是给它加了一个类似睡眠的机制。到了“晚上”,模型把最近的录音一点一点重放。加上之后学习速度一下起来了,掌握了英语的发音体系,到“两岁”能认出几千个词。

8 个家庭全部跑通,条件各不相同也没影响。新问题随之出现:真实的孩子发育快慢不一,模型在每个家庭里却是同一个速度。研究者调了三个参数——夜里重放多少、学得多快、什么时候开始记词——之后每个模型都跟上了自己那个孩子的节奏。

项目负责人 Uri Hasson 的意思是,一百多年来心理学都是从外面观察孩子怎么长大,现在可以反过来:造一个学习系统,喂给它孩子的真实经历,看它会不会以同样的方式长大。

© 版权声明

相关文章

普林斯顿用 8 个孩子三年里听到的话训练 AI,关键一步是让它“睡觉” 暂无评论

none
暂无评论...