一句话定义
Verifier(验证器)是专门负责判断“这个答案到底对不对”的模型或程序。它不负责生成内容,只负责打分、判断和淘汰。
它是怎么工作的
大模型有个特点:一次只输出一个结果,而且自己也不知道对不对。验证器的思路是把“生成”和“判断”拆开来做——先让模型一口气写出 N 个候选答案,再让验证器逐个筛选,只留下通过检验的那几个。这个流程叫拒绝采样(rejection sampling);如果直接从候选中挑出得分最高的一个输出,就叫 best-of-N 采样。
打个比方:生成器像一位海投简历的求职者,写得又快又多,质量却参差不齐;验证器则是面试官,扫一眼就能判断这人行不行。与其费劲训练一个“一次就说对”的求职者,不如让他多写几份,再配一位好面试官。
验证器大致分三类:
| 类型 | 典型例子 | 特点 |
|---|---|---|
| 规则型 | 编译器、单元测试、数学符号校验 | 绝对可靠,但只适用于能形式化的领域 |
| 模型型 | 奖励模型(Reward Model)、AI 词典:过程奖励模型">过程奖励模型(PRM) | 覆盖面广,但会判断错误,也可能被模型钻空子 |
| 裁判型 | 让另一个大模型当评委(LLM-as-a-judge) | 通用性强,但成本和判断一致性是难题 |
和相邻概念的区别
- 奖励模型(Reward Model):它是验证器的一种实现方式,也就是学出来的打分函数;验证器还包含编译器这类不依赖学习的组件。
- 评论家(Critic):通常输出文字批评或过程反馈;验证器一般只输出一个分数或对错。
- 重排器(Reranker):检索场景里的验证器特例,专门给候选文档排序。
- 护栏(Guardrail):判断“能不能说”;验证器判断“说得对不对”。
对从业者的意义
关键在“生成-验证不对称”:写代码难,跑通测试容易;出数学题难,代回原式检验容易。既然验证比生成便宜,那就可以把算力花在“多生成几个候选答案,再严格筛选”上,而不是一味堆大模型。这是测试时计算(test-time compute)扩展的一条主线。
但验证器本身也会成为瓶颈:它判错,模型就学歪;它只看最终答案不看推理过程,模型就可能靠猜蒙对——这叫奖励黑客(reward hacking)。业界经验是:在数学、代码这类有确定性验证器的领域,验证器效果最好;到了开放写作、策略建议这类没有标准答案的任务,它就力不从心了。
