确认偏误(Confirmation Bias)是指:人倾向于主动搜寻、格外留意、牢牢记住那些支持自己已有判断的信息,同时忽略、贬低、甚至反过来"解释掉"相反的证据。
上世纪有个经典实验:研究者让受试者猜一条数字规律,然后自己出数字去验证。几乎所有人都只构造符合自己猜想的例子,很少有人主动试一个"如果我的猜想错了,它就该被排除"的例子。结果很多人对自己错误的规律信心十足,因为每次测试都通过了。这不是因为他们证据多,而是因为他们只收集了一类证据。
生活里的版本更常见:你隐约觉得某位同事对你有意见,之后他两次没回消息你都记了下来,他帮你带过一次咖啡,你归为"客套"。你的"证据库"一直在扩容,只是扩容的全是同一类。
放到 AI 评估上,这个偏差特别贵,因为生成式模型允许你无限重试。同一个需求,第一次输出不满意,改两个字再问,还不满意,再改。调到第十次终于出了个漂亮结果,于是截图进汇报。这个流程感觉像"测试",实际上是在做搜索:抽到想要的样本就停止抽样。任何系统被这样对待,都会显得比它真实水平好。反过来也成立:如果你先认定"这模型不行",你会一直重试到它出错为止,然后把那次错误当成"果然如此"。
几个高发场景:
- 评测集是自己挑的,任务是自己熟的,prompt 是自己反复打磨过的——这套组合几乎必然给出乐观结论。
- 只看最好的一次输出,不看十次的分布;只看平均分,不看失败模式是否集中在某类输入上。
- 用模型当裁判(LLM-as-a-judge),看到评分理由顺眼就采信,刺眼就怀疑评分标准。
- A/B 结果不显著时说"样本还不够",显著时说"果然如此"。
和几个容易混的概念区分一下:
| 概念 | 偏差发生在哪一层 | 典型 AI 场景 |
|---|---|---|
| 确认偏误 | 你找什么证据、怎么解释证据 | 反复重试到满意为止,然后截图 |
| 幸存者偏差(Survivorship Bias) | 样本本身已经缺失 | 只统计还在用的用户,流失用户没进表 |
| 锚定效应(Anchoring) | 先出现的数字影响后续估计 | 先看了竞品跑分,再看自家数据 |
| 回声室(Echo Chamber) | 外部信息环境被过滤 | 只逛认同自己观点的社区 |
区别的关键:幸存者偏差是数据被动缺失,确认偏误是你主动伸手去挑。
对从业者,能做的其实很朴素:评测集和 prompt 在开跑之前固定下来,别边跑边改;同一输入跑多次,报分布而不是报最优;留一份"我不知道它会怎样"的留出集;让没参与开发的人做盲评;把失败案例原样存档,那是最贵的资产。涉及具体产品能力和指标口径,以官方页面和自家评测文档为准。
对普通人,一个实用信号是:如果 AI 聊起来总是特别懂你、特别顺着你,那不一定说明它准,也可能说明你一直在给它打分。不妨换个问法——"这个方案在什么情况下会失败?"——主动去要那份你不想看到的证据。
