跳到主内容
快讯直播
AI智模界
AI 词典

KL 系数的自适应调节:给模型一根会伸缩的牵引绳

一句话定义:KL 系数的自适应调节(adaptive KL coefficient),指在 RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习)训练中,不再把 KL 惩罚项的权重 β 固定为一个常数,而是根据模型当前偏离参考模型的实际幅度,在训练过程中动态地把它调大或调小。

这根“绳子”是干什么用的

RLHF 的典型流程是:先拿一个监督微调好的模型当参考模型(reference model),再让正在训练的模型不断尝试生成回答,由奖励模型(reward model)打分。但只追求高分,模型很快会学会“钻空子”——输出堆砌讨喜的废话、中英混杂、重复同一句式,也就是常说的 reward hacking。于是训练目标里加了一项惩罚:

> 实际奖励 = 奖励模型打分 − β × KL(当前策略 ‖ 参考策略)

KL 散度衡量当前模型与参考模型的输出分布差多远。打个比方:参考模型是牵着狗回家的路线,KL 惩罚就是狗绳。绳子太紧(β 太大),狗几乎不敢离开原地,训练学不到新东西;绳子太松(β 太小),狗一兴奋就跑没影,语言能力退化、胡说八道。麻烦在于,合适的松紧度在训练全程是变化的——训练早期模型变化剧烈,后期趋于平稳。

自适应是怎么调的

做法很朴素:先设定一个目标 KL 区间,训练中每个批次实测当前 KL 值。

  • 实测 KL 高于上限,说明模型跑偏了,β 调大(常见做法是直接翻倍);
  • 实测 KL 低于下限,说明绳子勒得太死、模型几乎没在更新,β 调小(常见做法是减半);
  • 落在区间内就保持不动。

于是 β 自己会“漂”到一个合适的量级,不需要人工反复试。这种按目标值反馈调节的思路,和学习率调度、温控器本质上是一回事。

和几个相邻概念的区别

概念管的是什么典型做法
KL 散度两个分布的差异大小,是度量指标只观测
KL 惩罚项把偏离写进奖励函数需指定权重 β
固定 β全程一个常数简单,但对超参敏感
自适应 β权重随实测偏离动态调整少调参,训练更稳
PPO 的裁剪(clip)限制单次更新的步长约束相邻两版策略

注意两点区别:一是裁剪约束的是“这一步走多大”,KL 惩罚约束的是“总共离出发点多远”,两者互补;二是 DPO(Direct Preference Optimization)里也有一个 β 控制偏离程度,但通常固定不动,没有这套反馈机制。

对实际工作的意义

对训练侧的人来说,它把“β 该设多少”这个高成本试错问题,转成了“目标 KL 定在哪个区间”这个更好回答的问题;训练中出现奖励飙升但输出明显变味的苗头,也会被自动踩一脚刹车。对使用模型的人来说,它影响的是体感:回答是不是还保持着原来的语言风格、指令遵循和事实性,而不是一味讨好评分器。不同框架、不同团队的默认策略和目标区间并不统一,具体参数以各家官方文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。