一句话定义
Best-of-N 采样（Best-of-N Sampling）就是让模型对同一个问题生成 N 个候选答案，再用一个「裁判」给它们打分，把得分最高的那个交出去。
原理：把「赌一次」改成「抽 N 次挑最大」
大模型的生成过程自带随机性。即便提示词和参数完全固定，问两遍也会得到措辞、甚至思路完全不同的回答。Best-of-N 就是利用这个特性：既然单次输出像抽奖，那就多抽几次，再挑最好的一张。
打个比方：同一道题，让一个学生用不同思路做 10 遍，再请老师批改，挑出正确的那份交上去。学生的水平没变，变的是「有 10 次机会」。
数学上也很直白：单次答对的概率是 p，N 次独立采样里至少有一次答对的概率是 1-(1-p)^N。p 哪怕只有 0.3，N 取 10 时也接近 0.97。这就是评测里 pass@N 这个指标的由来——不是模型变强了，是给了它更多次机会。
天花板在哪里
1. 候选里根本没有对的，裁判再准也挑不出来。p 越低，这条曲线爬得越慢。
2. 裁判不完美。打分器常常是另一个模型或一条规则，它会看走眼，偏爱「话说得漂亮但结论错误」的答案，也就是常说的奖励黑客（reward hacking）。
3. 收益递减。1-(1-p)^N 是一条饱和曲线：从 1 加到 10 提升明显，从 50 加到 100 多半看不出来。
4. 成本线性增长。N 份候选就是 N 倍推理开销，并行能压低延迟，但压不住总体的算力消耗。
和相邻概念的区别
| 方法 | 在哪一层挑 | 挑选依据 | 适用场景 |
|---|---|---|---|
| 贪心解码 | 不挑 | 每步取概率最高的 token | 通用、要求稳定 |
| 集束搜索（AI 词典：Beam Search">Beam Search） | token 序列层 | 累积概率最高的若干条 | 翻译等 |
| 自洽性（Self-Consistency） | 答案层 | 多数投票 | 有唯一答案的推理题 |
| Best-of-N | 答案层 | 打分器（规则、验证器、模型） | 开放生成，且有验证手段 |
另外，Best-of-N 只在推理阶段生效，不改模型权重，属于测试时扩展（test-time scaling）里最简单的一种。如果挑出来的好答案被拿去继续训练模型，那就变成另一类方法了（例如微调">拒绝采样微调）。
对实际工作的意义
如果你手里有可靠的验证方式——代码能跑通单测、数学题能代回检验、输出格式能被正则校验——Best-of-N 往往是性价比极高的手段，甚至不需要专门训练一个奖励模型。
但也要认清它的边界：它只能救「会但不稳」，救不了「根本不会」。如果模型压根没掌握某个能力，采样再多遍也只是在一堆错误答案里挑一个看着顺眼的。想突破这个天花板，还是得回到数据、训练和工具调用上去。