一句话定义：假设检验（Hypothesis Testing）是一套用样本数据判断“观察到的差异是否只是随机波动”的统计方法。它不直接证明谁更好，而是先假设“没差别”，再看数据有多不寻常。
原理，用考试打分打个比方。你让模型 A 和 B 在同一份 1000 条测试集上跑，A 对 920 条，B 对 910 条。差 10 条，听起来 A 好。但换一份测试集，可能 B 反超。假设检验的做法是：先立一个原假设（Null Hypothesis, H0）：A 和 B 真实水平一样，差异纯属抽样运气。然后算：如果 H0 成立，出现“至少差 10 条”这种结果的概率有多大？这个概率就是 p 值（p-value）。若 p 值小于事先定的显著性水平（Significance Level, α，常见 0.05），就说“在 0.05 水平下拒绝原假设”，认为差异不太像运气。否则只能说“证据不足”，不能说“两者一样”。
关键点：p 值小不等于差异大，只说明“不像运气”；样本越大，越容易把微小差异测成显著。反过来，样本太少，真有差异也可能测不出来，这叫统计功效（Statistical Power）不足。所以还要看效应量（Effect Size）：准确率差几个百分点、业务上值不值。
和相邻概念的区别：
| 概念 | 回答的问题 | 输出 |
|---|---|---|
| 假设检验 | 差异是否可能由运气造成 | 显著 / 不显著 |
| 置信区间（Confidence Interval） | 差异大概在什么范围 | 一个区间，如“差 0.2 到 2.1 个百分点” |
| 效应量（Effect Size） | 差异有多大、值不值得管 | 具体大小 |
A/B 测试（A/B Testing）是假设检验在产品实验里的典型应用；假设检验是底层方法。贝叶斯方法（Bayesian）则直接回答“A 优于 B 的概率”，和频率派假设检验的回答方式不同。
对从业者的意义：在 AI 里比较模型，别只看榜单小数点。要做配对比较：同一批测试样本上逐条对比，用配对检验；样本少时差距很容易翻盘；一次比较很多模型时，要做多重比较（Multiple Comparisons）校正，否则总会有“碰巧显著”的赢家。普通职场看 A/B 实验也一样：先问样本量够不够、差异有没有超过置信区间、这个差距能不能变成钱。记住一句话：先问“是不是运气”，再问“是不是更好”。