一句话定义：p 值（p-value）回答的是"假如真实效果压根不存在，出现我手上这份数据（或更极端数据）的概率有多大"；而 p-hacking 就是不停地换指标、切样本、调模型，直到这个概率小于 0.05 为止。
p 值在说什么
先做一个实验：你怀疑一枚硬币被做了手脚，于是抛 10 次，结果全是正面。如果硬币是公平的，出现这种情况的概率是 1/1024，约等于 0.1%。这个 0.1% 就是一个 p 值——它算的不是"硬币有问题的概率"，而是"硬币没问题时，出现这种极端结果的概率"。
p 值小，说明"没有效果"这个前提和眼前的数据很别扭，于是我们倾向于怀疑前提。注意两件事：p 值小不等于效果大，也不等于效果真——它只衡量"数据有多反常"。"显著"（significant）这个词在统计里的意思就是"不太像巧合"，跟"重要"没关系。
p-hacking 是怎么作弊的
假设做一次 A/B 测试。点展率不显著，就改看停留时长；还是不显著，就改看次日留存；全量不显著，就切出"一线城市、25–30 岁、安卓用户"这个子集——切到显著为止。或者一边收数据一边算 p 值，一显著就赶紧停。
问题出在"每一次尝试都在花犯错预算"。单次检验的假阳性率是 5%，看起来可控；但如果独立地试 20 个不相关的指标，至少有一个碰巧显著的几率大约是 1 − 0.95²⁰ ≈ 64%。你最后报出来的那个 p = 0.03，已经不是原来那个 0.03 了。你报的是"试了 20 次之后最好的那一次"，而它的真实假阳性率早就失控了。
| 维度 | 规范做法 | p-hacking |
|---|---|---|
| 假设 | 分析前锁定一个主指标 | 看完数据再挑指标 |
| 停止规则 | 样本量事先算好 | 显著就停，不显著就继续收 |
| 子群 | 预先定义的切分 | 到处切，只报显著的 |
| 报告 | 所有检验都报 | 只报好看的那几个 |
| 结果 | 假阳性率受控在名义水平 | 实际假阳性率可能远超 5% |
和相邻概念的区别
p 值常被和置信区间（confidence interval）、效果量（effect size）混着用。置信区间给的是"效果可能落在哪个范围"，效果量给的是"效果有多大"；p 值只回答"像不像巧合"。只看 p 值，容易把"微小但稳定"的差异当成重大发现。多重比较（multiple comparisons）则是 p-hacking 的技术后果：你做了 20 次检验，就该用 Bonferroni 之类的校正把门槛收紧，而不是挑一个最漂亮的报出去。
对从业者的意义
在 AI 和数据分析里，p-hacking 换个马甲到处都是：反复调超参、换随机种子、在验证集上试到指标满意，再拿去测试集上崩掉——本质完全一样。这也是为什么测试集要"用完即弃"，为什么严谨的研究要做预注册（preregistration）：先把主指标、样本量、分析方案写死，再去看数据。
对普通人来说，看到"研究显示 p < 0.05"时，值得多问一句：这个指标是事先定的，还是试出来的？总共试了多少次？具体门槛和校正方法各领域规范不同，以所在领域的官方指南为准。0.05 是人为约定，不是自然规律，更不是真理盖章。