一句话定义
大量相互独立、同分布的随机变量,不管各自服从什么分布,它们的和(或平均值)的分布都会趋近正态分布(Normal Distribution)——这就是中心极限定理(Central Limit Theorem,CLT)。
为什么平均能压住噪声
拿掷骰子举例。单颗骰子的点数是均匀分布,1 到 6 概率各 1/6,画出来是平的,毫无“钟形”可言。但你一次掷 100 颗骰子再算平均点数,结果几乎总在 3.5 附近,直方图就是标准钟形。原因很朴素:某颗掷出 6 造成的偏高,很可能被另一颗掷出 2 的偏低抵消;想让平均值冲到 5,需要绝大多数骰子同时偏高,概率极低。
数学上这件事被总结成一条很好用的公式:n 次测量的平均值,其波动(标准差)是单次测量的 1/√n。测 4 次,噪声减半;测 100 次,噪声只剩十分之一。这就是“多测几次取平均”的底气,也是收益递减的来源——把误差再砍一半,得把样本量翻四倍。
和相邻概念的区别
常有人把中心极限定理和大数定律(Law of Large Numbers)混着说。大数定律管“去向”:平均最终会收敛到真实值。中心极限定理管“形状”:围绕真实值的偏差长什么样——近似正态,幅度是 σ/√n。前者告诉你平均有用,后者告诉你平均之后还剩多少不确定,才让你能算出置信区间(Confidence Interval)。
模型评测里的三条边界
这套东西在模型评测里天天被用,但前提经常被悄悄违反:
第一,独立性不成立。同一批题目、同一批提示词反复跑同一个模型,误差是相关的;温度采样得到的多次回答也不是独立样本。这时 σ/√n 会低估真实误差,有效样本量小于你实际跑的次数。跑十遍同一个提示词,拿到的是十份高度相似的证据,不是十份独立证据。
第二,重尾分布下收敛很慢。如果指标有长尾或极端值(个别样本耗时极长、损失极大),几次抽样就能大幅拉动均值,钟形还没浮现。
第三,平均压不住系统性偏差(Bias)。评测集本身有偏、提示词有系统性歧义,跑一万次只会得到一个更精确的错误答案。平均只对付随机抖动。
| 误差类型 | 多测取平均有用吗 | 通常怎么处理 |
|---|---|---|
| 随机噪声 | 有用,误差按 √n 缩小 | 增加样本量,报告置信区间 |
| 样本相关 | 打折扣,有效样本量偏小 | 按题目/用户聚类,用聚类稳健标准误 |
| 系统性偏差 | 无用 | 改评测集与指标,做人工抽检 |
对普通人的意义
看到“平均值”三个字,先问两句:这些测量彼此独立吗?我想压掉的是抖动,还是方向本身就错了?写评测报告时,把均值连同不确定区间一起给出,比只报一个漂亮的数字诚实得多,也更经得起追问。具体工具与实现细节,以官方文档为准。
