模型崩塌：用 AI 数据训练 AI，为什么会一代不如一代

模型崩塌（Model Collapse）指的是：当新一代模型主要由上一代模型生成的内容来训练时，它不会越练越聪明，反而会逐渐失去多样性、偏离真实世界的分布，甚至把上一代的错误当成事实继续传下去。

一次“复印件再复印”的过程

把一张照片复印一份，再拿复印件去复印，如此重复几十次。结果是：清晰度下降、噪点变多、角落里的小字被彻底抹掉，而某个不起眼的污点被当成原图特征一次比一次放大。

模型崩塌几乎是同一件事，只是发生在数据层面。它通常由三种力量叠加造成：

• 分布尾巴被削掉：模型生成是“按概率抽样”，常见表达被抽中的概率高，方言、少见句式、极端但真实的场景这些长尾样本很少出现。每一代都丢一点，几代之后分布明显收窄，只剩最主流的句式和观点。
• 错误被反复强化：上一代的幻觉、偏见、事实错误，一旦进入下一代的训练集，就不再是“错误”，而是被当作标准答案学习，甚至演化得更自信。
• 多样性塌缩：输出越来越模板化。不同问题用同一个套路回答，语气、结构、立场都变得雷同。

它和过拟合不是一回事

过拟合是模型对一份真实数据“记性太好”，换新数据就失灵；模型崩塌是数据来源被模型自己替换掉了，真实信息在链条中持续流失。前者调模型，后者得回头调数据。

为什么真实数据混入比例是关键

真实数据提供两样东西：长尾样本，以及纠错锚点。

只要每一代都固定掺入人类产出的真实数据，漂移就会被拉回真实分布附近；如果把最初的原始语料一直保留在训练集里，而不是只喂上一代输出，退化更难累积起来。反过来，链条上每一环都是纯合成数据，损失就会像复利一样滚大，越到后面越难纠正。具体掺多少没有通用数字，要按任务做实验，并以官方文档和论文口径为准。

对从业者和普通人的意义

合成数据不是毒药。它适合补充稀缺场景、做数据扩增，但要有真实数据兜底，并且监控“输出多样性”这类指标，而不只是看准确率。

另一个现实问题是：如今互联网上 AI 生成内容占比越来越高，抓来的语料本身就带着 AI 味，“这是不是真实人类数据”正变得越来越难判断。

对个人而言，一手经验、具体细节、真实案例，恰恰是最难被合成的部分——它们既是训练的稀缺资源，也是你在职场里不容易被替代的原因。