Google Research 近日在研究博客上发布文章,介绍了一个名为 Sleep 的新框架,目标是解决大语言模型在持续学习(continual learning)场景下的知识保留问题。与该博客配套的论文已发布在 arXiv 上,属于研究型工作。
发生了什么
按照博客标题的表述,Sleep 框架关注的是一类长期困扰模型迭代的核心矛盾:当模型按顺序学习新任务、吸收新知识时,如何避免此前已经掌握的能力被覆盖。文章把这一框架定位为"让 LLM 在持续学习中记住知识"的新路径。目前公开的信息以研究博客与 arXiv 论文为主,具体方法设计、实验设置与评测结论均需以论文原文为准。
为什么重要
对 AI 从业者来说,持续学习一直是落地环节的痛点。主流做法要么依赖全量重训,成本高、周期长;要么在增量数据上继续微调,容易引发AI 词典:灾难性遗忘">灾难性遗忘,导致模型在新任务上表现提升、在旧任务上反而退化。任何能够在"学新的"与"不忘旧的"之间取得更好平衡的方法,都直接关系到模型能否低成本地持续更新、能否在长期运行中稳定积累领域知识。
从命名看,"Sleep"这一命名取自睡眠期间记忆巩固的类比;其思路与生物智能中"离线整理"的机制形成对照,也提示该框架可能涉及在训练之外对模型知识进行整理或巩固的环节(具体机制以论文为准)。
后续关注
值得留意三点:一是该方法在何种模型规模与任务序列长度下得到验证;二是它相对于重训、经验回放等既有方案的取舍;三是工程上是否易于接入现有的训练与部署流水线。对需要长期维护垂类模型或持续注入新知识的团队而言,这类工作具备直接的参考价值。
