一句话定义
奖励归一化(Reward Normalization)是强化学习(Reinforcement Learning, RL)里的一种工程手段:对奖励信号做平移和缩放,把它放进一个数值稳定、量纲统一的区间,让策略的更新步长始终可控。
为什么奖励的“音量”会出问题
设想你在教一个人学做菜,好就加 1 分、差就减 1 分;换成好就加 100 分、差就减 100 分,他的行为会变吗?理论上不会:哪种做法更好,这个排序没变,最优策略也没变。但训练算法的反应会变。
策略梯度(Policy Gradient)这类方法里,参数更新的幅度大致正比于奖励(更准确说是优势值 Advantage)。奖励从 1 变成 100,梯度就大约放大 100 倍:本来该小步微调的地方,变成一大步。一步迈得太大,可能把已经学好的策略参数直接掀翻,损失突然飙高、输出变得莫名其妙,训练就崩了。反过来,奖励太小又会让更新慢得像原地踏步,被噪声淹没。
更麻烦的是,不同任务、不同环境的奖励量级天差地别。一套学习率在这个任务上刚好,换个任务就得重调,做多任务训练时尤其难受。
常见做法
- 标准化:减去均值、除以标准差,做成均值 0、方差 1 附近。统计量可以来自当前批次,也可以用滑动平均(running mean/std)累积。
- 缩放与裁剪:直接把奖励乘以一个系数,或截断在固定区间内。
- 优势归一化:Actor-Critic 类方法里常归一化的是优势值而不是原始奖励,作用类似。
需要注意,归一化理论上不改变最优策略,但会实实在在改变训练动态;滑动统计在训练早期不稳定,本身也可能带来抖动。另外,如果任务靠极少数大奖励提供关键信号,缩得太狠会削弱这个信号,需要权衡。
别和这几个概念搞混
| 概念 | 作用对象 | 解决什么问题 |
|---|---|---|
| 奖励归一化 | 奖励值与优势值 | 量级不统一,更新步长忽大忽小 |
| 奖励塑形 Reward Shaping | 奖励的定义本身 | 奖励太稀疏,学不到有效信号 |
| 梯度裁剪 Gradient Clipping | 梯度 | 单步更新过大,防梯度爆炸 |
| 学习率调整 | 参数更新系数 | 不同训练阶段合适的步长不同 |
一句话区分:奖励塑形改的是“奖励说什么”,奖励归一化只改“奖励多大声”,梯度裁剪则是事后在梯度上兜底。三者经常一起用。
对从业者和普通人的意义
做强化学习的人,奖励归一化几乎是默认操作:它不提升理论上的最优解,却是训练能跑完的前提之一,还能让一套超参数在多个任务间迁移。具体实现细节各框架不同,以官方文档为准。
对不写代码的人,这个思路同样眼熟:把各部门 KPI 换算成百分制再比较,把考试原始分转成标准分,本质都是先统一量纲,再谈好坏。奖励只该告诉模型“哪个更好”,不该顺带决定“该迈多大步子”。
