一句话定义
发表偏倚(Publication Bias)指的是:一项研究结果能不能被发表、被传播,跟结果本身"够不够好看"有关,于是流传下来的证据整体上偏向阳性、偏向显著。
原理:抽屉里的那叠纸
想象一家实验室做了 100 组对比实验。其中 15 组跑出了"新方法明显更好",85 组没有差别甚至更差。接下来会发生什么?那 15 组被写成论文投出去,其中一部分登上顶会;剩下 85 组,大概率安安静静躺在硬盘和抽屉里——这就是所谓"抽屉问题"(File Drawer Problem)。
而读者看到的,是那 15 篇论文。如果你把这些论文的效果量平均一下,会得出一个远高于真实情况的结论。注意:这里没有任何人作弊。研究者只是觉得"没差别"不值得写,审稿人只是觉得"没差别"没意思,媒体只是觉得"没差别"没人点。篩选发生在每一个流通关口,方向却一致——都偏爱显著结果。
在 AI 里它长什么样
机器学习领域几乎是发表偏倚的天然温床:
- 一个新模型在某个基准(benchmark)上刷了高分,才会被写进论文;同一个模型在另外五个数据集上表现平平,这一节通常"省略"。
- 只报告最好的一次随机种子(seed),或调参调好之后再报告,差的几次不出现。
- 某个数据集上"大家都做不动",于是没人发,后来者看到这个数据集上的公开成绩都很高,误以为是自己方法不行。
- 榜单(leaderboard)本身也带偏:提交成绩是自愿的,成绩差的人就不提交了。
和几个相邻概念的区别
| 概念 | 出问题的环节 | 一句话 |
|---|---|---|
| 发表偏倚 | 研究做完之后的发表/传播 | 不好看的结果没人发 |
| 幸存者偏差 | 更广的样本存活过程 | 失败者整体消失了 |
| 选择偏倚 | 研究内部的抽样 | 进来的人本来就不代表总体 |
| p-hacking | 研究内部的分析 | 主动把结果"做"显著 |
区别的关键在于:p-hacking 是研究者的主动操作,而发表偏倚即使每个人都诚实,只要发表环节在筛选,它照样发生。两者叠加,会把效应量放大到离谱。
对从业者和普通人的意义
对从业者:读到一篇"新方法提升明显"的论文,先问一句——那些失败的尝试去哪了?自己写技术报告时,把没跑通的方案也写进去,反而是给同事省时间。团队内部可以建立"负结果记录",避免三个人重复踩同一个坑。看公开榜单时记住,那是自愿提交的集合,不是随机抽样,具体口径以官方页面为准。
对普通人:看到"研究表明""最新测评显示"这类说法,先想想分母。一个班 50 人考完试,只有考得好的发朋友圈,你刷到的全是高分,于是你误判了这场考试的难度。发表偏倚就是学术和行业版本的"朋友圈效应"——信息不是假的,但它是被挑过的。
