跳到主内容
快讯直播
AI智模界
AI 词典

Critic Model:训练时的「估分员」,不是裁判

一句话定义:Critic Model(评论家模型,也叫价值模型 Value Model)是强化学习训练中的一个辅助模型,它的唯一工作是对「当前状态值多少分」做预测——也就是估计从现在这一步继续走下去,最终大概能拿到多少总回报。

它到底在算什么

强化学习里有个角色叫 Actor(策略模型),负责做动作、生成内容。问题在于:它做了一步之后,怎么知道这一步是好是坏?只靠最后的总分不够——一段回答拿了 8 分,可这 8 分里哪几句立了功、哪几句拖了后腿?

Critic 就是来回答这个问题的。它学的是价值函数:给定当前已经写出的内容,预测「最终能得多少分」。训练时把预测值和真实拿到的回报一比,差出来的部分就是优势(Advantage):

  • 实际得分 高于 Critic 的预期 → 这一步超出预期,加大类似动作的概率
  • 实际得分 低于 预期 → 这一步不如预期,压低概率

打个球赛的比方:Reward Model 是赛后的裁判组,只给最终比分定输赢;Critic 是场边那位一直在算「以现在这个局面,最后大概几比几」的解说员。解说员不制定规则、不判胜负,但他能告诉你刚才那脚传球是「神来之笔」还是「浪射」。

和相邻概念的区别

新手最容易把 Critic 和 Reward Model(奖励模型)搞混,因为它们都输出一个数字。区别在于这个数字是谁的意志:

Reward Model(奖励模型)Critic Model(评论家模型)Actor(策略模型)
回答什么这个结果好不好?现在这个局面还能拿多少分?下一步该做什么?
数字含义人类偏好的固化标准对未来回报的预测不输出分数,输出动作或 token
学习信号人工标注的偏好对比实际拿到的回报(回归拟合)用优势值调整概率
部署时通常不用一定不用,训练完就丢就是最终上线的模型

关键差别:奖励模型定义「什么是好」,Critic 只负责「猜接下来能得几分」。Critic 猜错了不改变好坏标准,只让训练信号变吵。

为什么它对从业者重要

在 RLHF(Reinforcement Learning from Human Feedback)的 PPO 流程里,Critic 通常和策略模型、奖励模型、参考模型一起驻留显存,是训练成本的主要来源之一。它的作用是降方差:没有它,策略梯度只能用最终回报做信号,噪声极大,训练容易抽风;有了基线预测,同样的数据能给出稳定得多的更新方向。

所以实践中有几条经验:训练不收敛、曲线剧烈抖动时,先去看 Critic 的预测误差是不是一直降不下来;Critic 通常从奖励模型或策略模型初始化,而不是从零训;它和策略模型需要同步更新,落后太多就会拖后腿。具体实现细节各家框架不同,以官方文档为准。

对非从业者来说,值得记住的一点是:你在产品里用到的模型,训练时身边站过一个「估分员」,它帮你调好了模型的脾气,然后就被删掉了。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。