一句话定义：自我奖励语言模型（Self-Rewarding LM）指的是同一个模型既当「选手」又当「裁判」——它生成回答，再给自己的回答打分，然后用这些自评分数反过来训练自己，从而在不依赖大量人工标注的情况下持续迭代。
它是怎么运转的
传统做法里，模型要变好，通常得靠人来做偏好标注：同一个问题给出两个答案，让人挑哪个更好，再用这些「人类偏好」去调模型。这套流程（RLHF，基于人类反馈的强化学习）效果不错，但代价格外明显：标注慢、贵、标准还容易因人而异。
自我奖励把裁判这一环交回给模型自己。典型流程是这样的：
1. 模型针对一批指令生成若干回答；
2. 同一个模型换一个「评委」身份，按给定标准给这些回答打分或排序（这种用法常被称为 AI 词典：LLM-as-a-Judge">LLM-as-a-Judge）；
3. 用这些自评结果构造偏好数据，做偏好优化训练；
4. 用更新后的模型重复上述过程，一轮轮往上走。
打个比方：一个学生自己出题、自己做、自己对着参考答案批改。好处是他不需要老师一直在旁边盯着，练习量可以极大；风险也很直白——如果他批错了，或者偏爱某种讨巧的写法，这种毛病会被他自己反复强化。
和相邻概念的区别
| 方式 | 谁来打分 | 是否需要人工标注 | 主要特点 |
|---|---|---|---|
| 人类反馈（RLHF） | 人类标注员，外加一个奖励模型 | 需要，量大 | 标准贴近人类，但慢、贵、难扩展 |
| AI 反馈（RLAIF、宪法式方法） | 另一个模型，按人写好的规则打分 | 基本不需要 | 裁判与被训练者分离，规则由人定 |
| 自我奖励 | 模型自己兼任裁判 | 只需少量初始样例 | 迭代快，但存在自我偏袒与标准漂移风险 |
关键差别在「裁判是不是同一个人」。裁判分开时，至少有一道外部视角；裁判就是自己时，能力和偏好会同步演化，也就更容易出现奖励欺骗（reward hacking）——模型学会的是「如何让自己满意」，而不一定是「如何答得更好」。
对从业者和普通人的意义
对做模型的人：这条路最大的价值是把迭代成本从「人力预算」换成「算力预算」，适合在缺少标注资源的场景里快速把模型推到及格线以上。但工程上得配几样保险：保留一小批高质量的人类评测做锚点、定期抽查自评的一致性、监控输出多样性是否塌缩、给不同能力维度分别设裁判标准而不是一个笼统的「好」。初始的那点人工样例，往往决定了整个循环能走多远。
对普通使用者：当模型的「品味」由它自己塑造时，你的提问方式就更重要了。把评分标准写清楚——要简洁还是要详尽、要不要给反例、依据什么判断——相当于临时给这位裁判一本评分手册，输出质量会明显不同。具体实现和最新进展，以各家官方页面为准。