谷歌给大模型加了个“睡觉”阶段，专治学新忘旧

大模型有个老毛病：学了新东西，旧的就忘。学界叫灾难性遗忘。

Google Research 新提的思路有点像人：白天干活，晚上睡觉，睡觉的时候把白天记住的东西整理进长期记忆。

具体来说，模型在两种状态之间周期切换。主动交互阶段，新信息先放在上下文里，相当于短期记忆。离线“睡眠”阶段，模型不对外服务，专门把上下文里的内容巩固成参数，写进权重。

这样做的好处是，新知识不用等下一轮完整训练才能进模型，也不会因为一次性微调把旧能力冲掉。

谷歌给的测试覆盖了 1000 万 token 的超长上下文、持续翻译、数学推理几类任务，结果超过了 GPT-4 和常规 SFT（监督微调）这些基线。

拿 GPT-4 当基线说明这还是偏研究阶段的工作，离产品化有距离。但方向挺关键。现在的模型知识截止在训练那一天，之后的事全靠检索或上下文临时补，一关窗口就没了。

如果“睡眠巩固”能在工程上做稳，个人助手类产品就可能真正记住用户，而不是每次都靠一个越塞越长的记忆文件。难点在于怎么保证巩固进去的东西是对的，错误信息一旦写进权重，想删就难了。