一句话定义
教师强制(Teacher Forcing)指训练自回归模型时,每一步都把「标准答案里的前一个词」喂给模型,而不是喂它自己上一步的预测;曝光偏差(Exposure Bias)则是这种训练方式带来的后遗症——模型训练时见到的前缀全是正确的,推理时却只能看到自己产出的、可能夹带错误的前缀,两种情境不一致。
原理:学翻译时的一句话错位
以中译英「我爱吃苹果 → I like eating apples」为例。训练时,解码器第 3 步的输入不是它自己猜出来的词,而是数据里真实的前缀 I like,目标才是输出 eating;第 4 步输入 I like eating,目标 apples。每一步都被「扶着走」,所以叫教师强制。
像学开车:学车时副驾教练每个路口都提前告诉你「打左灯、往左并线」——指令永远是对的,你只需要执行下一步动作。真上路了,没人报答案,你只能根据自己上一次的操作决定下一步:一旦第一个路口拐错,后面整条路线都歪了。背课文也一样,跟着老师一句句念很顺,独自背时错一个字,后面越错越离谱。
错位为什么会放大
单步出错概率看着不高,但推理时错误会变成下一步的输入,让模型走进训练中几乎没见过的输入分布,于是错上加错,这叫误差累积(error accumulation)或复合错误(compounding error)。另一层错位是目标错位:训练优化的是逐词交叉熵(token-level),而人真正在意的是整句质量,两者并不完全一致。
| 对比项 | 训练(教师强制) | 推理(AI 词典:自回归生成">自回归生成) |
|---|---|---|
| 每步输入 | 真实前缀(标准答案) | 模型自己上一步的输出 |
| 错误后果 | 单步,不累积 | 进入下一步输入,可能滚雪球 |
| 优化目标 | 逐词似然 | 整句是否可用 |
与相邻概念的区别
它不是「过拟合」,也不是「幻觉」。过拟合是记住了训练集;幻觉偏向事实性错误。曝光偏差是结构性的:即便模型没记错任何东西,只要它靠自己的输出往前走,就存在这个落差。另外,它和「自回归解码」是两回事——自回归说的是生成方式,曝光偏差说的是训练与推理的落差。
对从业者的意义
看训练 loss 低就上线是危险的,评估应模拟闭环:把模型自己的输出喂回去再测。常见缓解手段是计划采样(scheduled sampling),训练时按一定概率把真值换成模型自己的预测,让它逐步适应自己的错误;也有序列级训练、强化学习式微调,直接优化整句奖励。集束搜索(beam search)能保留多条候选、降低一步走死的风险,但属于推理侧的补救,治标不治本。
对普通人的意义
多轮对话或长文生成越到后面越容易跑题、前后矛盾,往往就是开头一个小偏差被反复放大的结果。与其只盯「模型训练得多好」,不如关注它在自己产出的内容上还能不能稳住。各家模型的具体训练策略与参数以官方页面为准。
