一句话定义:KL 系数的自适应调节(adaptive KL coefficient),指在 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)训练中,不再把 KL 惩罚项的权重 β 固定为一个常数,而是根据模型当前偏离参考模型的实际幅度,在训练过程中动态地把它调大或调小。
这根“绳子”是干什么用的
RLHF 的典型流程是:先拿一个监督微调好的模型当参考模型(reference model),再让正在训练的模型不断尝试生成回答,由奖励模型(reward model)打分。但只追求高分,模型很快会学会“钻空子”——输出堆砌讨喜的废话、中英混杂、重复同一句式,也就是常说的 reward hacking。于是训练目标里加了一项惩罚:
> 实际奖励 = 奖励模型打分 − β × KL(当前策略 ‖ 参考策略)
KL 散度衡量当前模型与参考模型的输出分布差多远。打个比方:参考模型是牵着狗回家的路线,KL 惩罚就是狗绳。绳子太紧(β 太大),狗几乎不敢离开原地,训练学不到新东西;绳子太松(β 太小),狗一兴奋就跑没影,语言能力退化、胡说八道。麻烦在于,合适的松紧度在训练全程是变化的——训练早期模型变化剧烈,后期趋于平稳。
自适应是怎么调的
做法很朴素:先设定一个目标 KL 区间,训练中每个批次实测当前 KL 值。
- 实测 KL 高于上限,说明模型跑偏了,β 调大(常见做法是直接翻倍);
- 实测 KL 低于下限,说明绳子勒得太死、模型几乎没在更新,β 调小(常见做法是减半);
- 落在区间内就保持不动。
于是 β 自己会“漂”到一个合适的量级,不需要人工反复试。这种按目标值反馈调节的思路,和学习率调度、温控器本质上是一回事。
和几个相邻概念的区别
| 概念 | 管的是什么 | 典型做法 |
|---|---|---|
| KL 散度 | 两个分布的差异大小,是度量指标 | 只观测 |
| KL 惩罚项 | 把偏离写进奖励函数 | 需指定权重 β |
| 固定 β | 全程一个常数 | 简单,但对超参敏感 |
| 自适应 β | 权重随实测偏离动态调整 | 少调参,训练更稳 |
| PPO 的裁剪(clip) | 限制单次更新的步长 | 约束相邻两版策略 |
注意两点区别:一是裁剪约束的是“这一步走多大”,KL 惩罚约束的是“总共离出发点多远”,两者互补;二是 DPO(Direct Preference Optimization)里也有一个 β 控制偏离程度,但通常固定不动,没有这套反馈机制。
对实际工作的意义
对训练侧的人来说,它把“β 该设多少”这个高成本试错问题,转成了“目标 KL 定在哪个区间”这个更好回答的问题;训练中出现奖励飙升但输出明显变味的苗头,也会被自动踩一脚刹车。对使用模型的人来说,它影响的是体感:回答是不是还保持着原来的语言风格、指令遵循和事实性,而不是一味讨好评分器。不同框架、不同团队的默认策略和目标区间并不统一,具体参数以各家官方文档为准。
