跳到主内容
快讯直播
AI智模界
AI 词典

Wilcoxon 符号秩检验:小样本比模型的非参数武器

一句话定义:Wilcoxon 符号秩检验(Wilcoxon signed-rank test)是一种非参数统计检验,用于判断两组配对数据的中位数差异是否显著;它不要求数据服从正态分布,因此在样本量小、指标分布偏斜时特别常用。

它解决什么问题

假设你在同一批 15 条测试样本上跑两个模型 A 和 B,得到 15 对分数。你算出每条样本的差值 d = A − B。问题来了:这 15 个差值平均下来是正的,究竟是模型 A 真的更好,还是抽样噪声?

配对 t 检验(paired t-test)会说"差值要近似正态",15 个点根本看不出分布形状,而且准确率、F1 这类有界指标常常出现几个极端差值,均值会被拖偏。这时换 Wilcoxon 符号秩检验更稳妥。

原理:只给"差距大小"排名次

它的做法很朴素:

1. 对每条样本算差值 d,丢掉差值为 0 的样本;

2. 取绝对值 |d| 从小到大排序,给名次(秩,rank)1、2、3……;

3. 把"差值为正"的那些秩加起来记作 W⁺,"差值为负"的秩加起来记作 W⁻;

4. 如果两个模型水平相当,正负应该大致随机分布,W⁺ 和 W⁻ 差不多各占一半。若一边明显更大,就说明差异是系统性的。

打个比方:这像一场拔河,但不是一人一票,而是"差距越大、票越重"——某条样本上 A 领先很多,它拿到的秩就高,说话更有分量;只差一点点的那条,权重最低。符号检验(sign test)则是一人一票,只看谁赢不看赢多少,所以更容易漏掉真实差异。

样本很小时可以精确枚举所有正负组合算出 p 值;样本稍大时用正态近似。具体实现和临界值以软件文档和官方页面为准。

与相邻概念的区别

方法数据关系比较什么正态假设
Wilcoxon 符号秩检验配对(同一批样本)差值的中位数不需要
配对 t 检验配对差值的均值差值需近似正态
Mann-Whitney U / Wilcoxon 秩和检验两组独立样本分布位置不需要
符号检验配对正负号数量不需要,但功效最低

最容易踩的坑:名字里都带 Wilcoxon,但符号秩检验是配对,秩和检验是独立两组,用反了结论就不可信。

对从业者的实际意义

  • 在小 benchmark 上对比两个模型、两套超参、两个提示词版本时,它是比 t 检验更"抗造"的默认选择。
  • 结果显著只说明"不太可能是巧合",不说明差异大。请同时报差值中位数和样本量,别把 p 值当效果大小。
  • 一次比较很多组时要做多重比较校正,否则总会有一两组"显著"。
  • 样本量很大时它几乎什么都显著,此时更该关心实际收益是否值得上线成本。

对普通职场人,这个词的价值是一句提问:看到"新版提升 0.8 个点",先问"多少条样本、做过显著性检验吗"——多数结论会在这句话前松动。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。