一句话定义:ORM(Outcome Reward Model,结果奖励模型)是一种只根据最终答案是否正确来给整段回答打分的奖励模型(Reward Model),不看中间推理过程。
它怎么工作
在大模型训练里,奖励模型负责给模型的输出打一个分数,再把这个分数当作强化学习的信号,告诉模型“往这个方向多说”。ORM 的思路很直接:拿一道题、模型给出的完整解答、以及“最终答案对不对”这个标签,训练一个打分器。它学的是“这样一段回答,通向正确答案的概率有多大”。
打个比方,ORM 就是只翻到卷子最后一页看答案的阅卷老师:答案对,给高分;答案错,给低分。中间是严谨推导还是连蒙带猜,它一概不看。
这个特点会带来很具体的后果。假设有两份解答:A 逻辑清晰、每一步都对,只是最后抄写时把符号写反了,答案错;B 中间跳了一大步、算错一次,后来歪打正着凑出了正确数字。在 ORM 眼里,B 是好的、A 是差的。它奖励的是“结果碰对了”,而不是“想得对”。
和 PRM 的区别
最常和 ORM 对照的是 PRM(Process Reward Model,AI 词典:过程奖励模型">过程奖励模型),也就是按步骤给分的阅卷老师。
| 维度 | ORM(结果奖励模型) | PRM(过程奖励模型) |
|---|---|---|
| 打分对象 | 整段回答的最终结果 | 推理链上的每一个步骤 |
| 训练标注 | 只需知道答案对错,很多场景可自动判定 | 需要逐步标注哪一步对、哪一步错,人工成本高 |
| 信号密度 | 稀疏:一问一答一个分 | 密集:一步一个分 |
| 强项 | 答案可判定的任务,能低成本大规模造数据 | 长链条推理,能定位错在哪一步 |
| 弱点 | 容易奖励“蒙对”,也可能被“看起来像对的答案”骗过 | 步骤如何切分有争议,标注慢且贵 |
值得注意的是,ORM 的“只看结果”也意味着它可被钻空子:模型可能学会输出形式上讨喜、实际上没推理的内容,这在强化学习里常被称作奖励劫持(reward hacking)。PRM 的代价则是标注难、成本高,而且“一步是否合理”往往没有唯一标准。
对从业者和普通人的意义
对做训练的人来说,ORM 是性价比最高的一条路:凡是答案能自动判定的领域(数学题、带单元测试的代码题、有标准选项的选择题),都能批量生成训练信号,几乎不需要人工介入。但它的适用边界也很清楚:需要开放写作、长链条规划、没有唯一正确答案的任务,ORM 给不出有区分度的分数,甚至会把模型带偏。因此常见做法是分场景取舍,或者把 ORM 用于最终筛选、PRM 用于过程引导,再配合规则型验证器(比如直接跑单元测试)交叉把关。各家具体实现差异较大,细节以官方文档为准。
对普通职场人,ORM 和 PRM 的取舍其实是一道熟悉的管理题:只考核结果,团队就会优化“让数字好看”;同时检查过程,成本立刻上升。两者怎么配比,取决于这件事容不容易“蒙对”,以及蒙错的代价有多大。
