一句话定义：置换检验（Permutation Test）是一种不预设数据分布形态的假设检验方法——它反复随机打乱样本的分组标签、重新计算统计量，用"纯属巧合"能造出多大的差异，来判断真实观察到的差异是否可信。
打个比方
假设你想验证某套提示词模板是否真能让客服回复质量变好。你招了 20 个人，10 人用新模板、10 人用旧模板，最后新模板组平均分高 6 分。问题是：这 6 分是模板的功劳，还是这 20 个人本来水平就有高有低、恰好分成了这样？
置换检验的做法很"暴力"：把 20 个人的分数单全部收上来，把"新/旧"的标签撕掉重新随机贴，再算一次两组均分之差。重复几千次，你会得到一大堆"纯粹瞎分组"产生的差值——大多数在 0 附近晃，偶尔蹦到 ±5、±6。如果真实的那 6 分在这堆瞎分组里很常见（比如 30% 的随机分组都能达到），那它大概率就是运气；如果几千次里没几次能超过它，你就有了底气说：这个差异不太可能是分组巧合造成的。
原理上有两个关键点
第一是可交换性（exchangeability）。原假设是"标签和结果无关"，那么在新旧模板之间互换标签，数据的联合分布不变——这正是"打乱标签"合法的前提。所以置换的对象必须是真正可交换的单元：配对实验要打乱配对内的顺序，分层抽样要层内打乱，不能一股脑全混。
第二是零分布（null distribution）是靠算出来的，不是查表查出来的。t 检验用公式推出一个理论分布再查临界值，置换检验则直接用你自己的数据、你自己的统计量"现场模拟"出一个分布。p 值就是：打乱后统计量绝对值不小于观测值的比例。
这也带来一个实操细节：重复次数决定了 p 值的分辨率。跑 1000 次，最小只能报出约 0.001 的 p 值；想报更小就得多跑。好在它对算力很宽容，几千到几万次在现代机器上通常不费事。另外别忘了多重比较问题——同时比很多组时，偶然显著的结果会变多。
和邻居们的区别
| 方法 | 怎么造分布 | 主要用途 | 关键假设 |
|---|---|---|---|
| 置换检验 Permutation Test | 打乱标签、重算统计量 | 检验"差异/关联是否存在" | 可交换性，不要求分布形态 |
| t 检验 / ANOVA | 公式推导理论分布 | 同上，但针对均值 | 近似正态、方差齐性等 |
| 自助法 Bootstrap | 有放回地重抽样样本 | 估计不确定性、置信区间 | 样本代表性 |
| 交叉验证 Cross-Validation | 划分训练/测试集 | 评估模型泛化能力 | 数据独立同分布等 |
一句话记法：Bootstrap 问"这个数字有多不靠谱"，置换检验问"这个差异会不会只是巧合"。两者都用"重复计算"代替公式，但一个动的是样本、一个动的是标签。另外有个容易混的名字：置换重要性（permutation importance） 借用了同样的"打乱"手法，但它是打乱某个特征列的取值来看模型掉分多少，属于解释模型，不是做假设检验。
对从业者的意义
它的最大好处是解放统计量。你不需要为"两组 AUC 之差""F1 的中位数""P99 延迟"去找对应的检验公式，只要能写一个函数算出你想比的数，就能做置换检验。典型场景：两个模型在同一批测试样本上的配对比较（同一条样本上谁对谁错，天然配对）、小样本的用户实验、指标分布严重偏斜的线上 AB 测试。
对不写代码的人，它也提供了一个便宜的思维习惯：看到"提升了 3%"时先问一句——如果什么都没变，只是重新分一次组，能出现多大的差别？这个问题的答案，往往比提升本身更有信息量。具体实现细节和接口，以各工具库的官方文档为准。