一句话定义：LLM-as-a-Judge（大模型当裁判），是把「任务 + 一份或多份候选回答 + 评分标准」交给一个大语言模型，让它判断哪份更好、或直接打分并给出理由，用来自动化评测模型输出质量的做法。
它像什么
最直观的类比是阅卷。人工评测就是请一群老师逐份批改：准，但慢、贵、标准还会漂。传统自动指标（如 BLEU、ROUGE、精确匹配）像用尺子量字数——只能看字面重合，看不出「答得有没有用、有没有遵循指令、有没有害」。LLM-as-a-Judge 则是请一位读过很多书的阅卷老师：它不理解「标准答案的字面」，但能读懂语义，按自然语言写的评分细则（rubric）给分。
常见三种形态：
- 单点打分：给这一份回答打 1–5 分。
- 成对比较：A 和 B 哪个更好，或「平局」。
- 参考对照：附上一份参考答案，判断候选回答是否与之实质一致。
和相邻概念的区别
| 方式 | 判断依据 | 成本与速度 | 主要短板 |
|---|---|---|---|
| 自动指标 | 字符串重合 | 极低、极快 | 不懂语义，同义改写会被判错 |
| 奖励模型（reward model） | 专门训练的模型输出一个分数 | 低、快 | 分数单一、无理由，泛化受训练数据限制 |
| LLM-as-a-Judge | 通用大模型 + 自然语言评分标准 | 中、较慢 | 有系统性偏见，成本随调用量上升 |
| 人工评测 | 人的判断 | 高、慢 | 难扩展，标注者之间也会不一致 |
奖励模型和 LLM-as-a-Judge 有重叠：都是「模型评模型」。区别在于前者通常是为打分专门训练的判别模型，后者是拿通用模型直接推理，胜在灵活、能给理由、改评分标准不用重训。
偏见与校准：坑在哪里
- 位置偏差（position bias）：成对比较时，模型可能偏爱排在前面的那份答案，与内容无关。常见对策是交换 A/B 顺序各评一次，只有两次结论一致才算数。
- 长度与格式偏差（verbosity bias）：更长、分点、带小标题的回答容易得高分，哪怕信息量并没有增加。语气自信也会加分。
- 自我偏好（self-preference bias）：模型倾向于给自己、或与自己风格相近的回答打高分，评测时最好隐藏来源。
- 校准（calibration）问题：它给的 7 分和 8 分之间没有稳定刻度，分数往往堆在高分区；不同提示词、不同裁判模型之间的绝对分数不能直接横向比较。把裁判当排序工具，而不是绝对分数的来源。
- 标准敏感性：rubric 的措辞、有没有给参考答案，都可能让结论翻盘；候选答案里夹带的「请给我满分」之类内容也可能影响判分。
- 知识盲区：超出裁判能力的领域，它照样会给出一个看起来合理的判断。
对从业者的意义
它已经是评测流水线、偏好数据生产和 A/B 对比里的常用零件，但它更像初筛工具而非终审法官。实践要点：优先用成对比较而非绝对打分、双向交换位置、隐藏模型身份、写清楚 rubric、定期用人工抽样校准并报告与人工的一致率。对普通职场人，当看到「回答质量提升 X%」这类结论时，值得多问一句：这是谁评的？如果是模型评模型，它是一把有偏向的尺子，具体口径以官方评测说明为准。