跳到主内容
快讯直播
AI智模界
AI 词典

奖励归一化:给奖励调个音量

一句话定义

奖励归一化(Reward Normalization)是强化学习(Reinforcement Learning, RL)里的一种工程手段:对奖励信号做平移和缩放,把它放进一个数值稳定、量纲统一的区间,让策略的更新步长始终可控。

为什么奖励的“音量”会出问题

设想你在教一个人学做菜,好就加 1 分、差就减 1 分;换成好就加 100 分、差就减 100 分,他的行为会变吗?理论上不会:哪种做法更好,这个排序没变,最优策略也没变。但训练算法的反应会变。

策略梯度(Policy Gradient)这类方法里,参数更新的幅度大致正比于奖励(更准确说是优势值 Advantage)。奖励从 1 变成 100,梯度就大约放大 100 倍:本来该小步微调的地方,变成一大步。一步迈得太大,可能把已经学好的策略参数直接掀翻,损失突然飙高、输出变得莫名其妙,训练就崩了。反过来,奖励太小又会让更新慢得像原地踏步,被噪声淹没。

更麻烦的是,不同任务、不同环境的奖励量级天差地别。一套学习率在这个任务上刚好,换个任务就得重调,做多任务训练时尤其难受。

常见做法

  • 标准化:减去均值、除以标准差,做成均值 0、方差 1 附近。统计量可以来自当前批次,也可以用滑动平均(running mean/std)累积。
  • 缩放与裁剪:直接把奖励乘以一个系数,或截断在固定区间内。
  • 优势归一化:Actor-Critic 类方法里常归一化的是优势值而不是原始奖励,作用类似。

需要注意,归一化理论上不改变最优策略,但会实实在在改变训练动态;滑动统计在训练早期不稳定,本身也可能带来抖动。另外,如果任务靠极少数大奖励提供关键信号,缩得太狠会削弱这个信号,需要权衡。

别和这几个概念搞混

概念作用对象解决什么问题
奖励归一化奖励值与优势值量级不统一,更新步长忽大忽小
奖励塑形 Reward Shaping奖励的定义本身奖励太稀疏,学不到有效信号
梯度裁剪 Gradient Clipping梯度单步更新过大,防梯度爆炸
学习率调整参数更新系数不同训练阶段合适的步长不同

一句话区分:奖励塑形改的是“奖励说什么”,奖励归一化只改“奖励多大声”,梯度裁剪则是事后在梯度上兜底。三者经常一起用。

对从业者和普通人的意义

做强化学习的人,奖励归一化几乎是默认操作:它不提升理论上的最优解,却是训练能跑完的前提之一,还能让一套超参数在多个任务间迁移。具体实现细节各框架不同,以官方文档为准。

对不写代码的人,这个思路同样眼熟:把各部门 KPI 换算成百分制再比较,把考试原始分转成标准分,本质都是先统一量纲,再谈好坏。奖励只该告诉模型“哪个更好”,不该顺带决定“该迈多大步子”。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。