一句话定义:Wilcoxon 符号秩检验(Wilcoxon signed-rank test)是一种非参数统计检验,用于判断两组配对数据的中位数差异是否显著;它不要求数据服从正态分布,因此在样本量小、指标分布偏斜时特别常用。
它解决什么问题
假设你在同一批 15 条测试样本上跑两个模型 A 和 B,得到 15 对分数。你算出每条样本的差值 d = A − B。问题来了:这 15 个差值平均下来是正的,究竟是模型 A 真的更好,还是抽样噪声?
配对 t 检验(paired t-test)会说"差值要近似正态",15 个点根本看不出分布形状,而且准确率、F1 这类有界指标常常出现几个极端差值,均值会被拖偏。这时换 Wilcoxon 符号秩检验更稳妥。
原理:只给"差距大小"排名次
它的做法很朴素:
1. 对每条样本算差值 d,丢掉差值为 0 的样本;
2. 取绝对值 |d| 从小到大排序,给名次(秩,rank)1、2、3……;
3. 把"差值为正"的那些秩加起来记作 W⁺,"差值为负"的秩加起来记作 W⁻;
4. 如果两个模型水平相当,正负应该大致随机分布,W⁺ 和 W⁻ 差不多各占一半。若一边明显更大,就说明差异是系统性的。
打个比方:这像一场拔河,但不是一人一票,而是"差距越大、票越重"——某条样本上 A 领先很多,它拿到的秩就高,说话更有分量;只差一点点的那条,权重最低。符号检验(sign test)则是一人一票,只看谁赢不看赢多少,所以更容易漏掉真实差异。
样本很小时可以精确枚举所有正负组合算出 p 值;样本稍大时用正态近似。具体实现和临界值以软件文档和官方页面为准。
与相邻概念的区别
| 方法 | 数据关系 | 比较什么 | 正态假设 |
|---|---|---|---|
| Wilcoxon 符号秩检验 | 配对(同一批样本) | 差值的中位数 | 不需要 |
| 配对 t 检验 | 配对 | 差值的均值 | 差值需近似正态 |
| Mann-Whitney U / Wilcoxon 秩和检验 | 两组独立样本 | 分布位置 | 不需要 |
| 符号检验 | 配对 | 正负号数量 | 不需要,但功效最低 |
最容易踩的坑:名字里都带 Wilcoxon,但符号秩检验是配对,秩和检验是独立两组,用反了结论就不可信。
对从业者的实际意义
- 在小 benchmark 上对比两个模型、两套超参、两个提示词版本时,它是比 t 检验更"抗造"的默认选择。
- 结果显著只说明"不太可能是巧合",不说明差异大。请同时报差值中位数和样本量,别把 p 值当效果大小。
- 一次比较很多组时要做多重比较校正,否则总会有一两组"显著"。
- 样本量很大时它几乎什么都显著,此时更该关心实际收益是否值得上线成本。
对普通职场人,这个词的价值是一句提问:看到"新版提升 0.8 个点",先问"多少条样本、做过显著性检验吗"——多数结论会在这句话前松动。
