一句话定义:预注册(Pre-registration)是指在开始实验、收集数据之前,先把要验证的假设、成功指标、分析方法和停止条件写下来并固定存证,然后再去看结果。
为什么需要它
人特别擅长"事后解释"。看到一个数字涨了,大脑会立刻编出一个合理的原因;看到三个指标里有一个变好了,手会不自觉地把那一个拎出来当结论。这不是道德问题,是认知习惯。
一个常见的例子:你想验证某个提示词改写策略是否有效,于是准备了准确率、响应长度、幻觉率、用户满意度四个指标,跑了五种改法。二十多种组合里,总有几个数字是好看的。如果这时才决定"我们以幻觉率为核心指标",那结论就不是实验得出的,而是挑出来的。学术上把这类操作叫 p 值操控(p-hacking)和事后假设(HARKing,Hypothesizing After the Results are Known)。
预注册的作用很朴素:把"选指标"这一步挪到"看结果"之前。
打个比方:装修前先签一份验收单,写清楚"墙面误差不超过 2 毫米、瓷砖空鼓率为零",装完再照着单子验。而不是装完站在屋里说"我觉得这面墙看着还行"。前者约束的是双方,后者只约束钱包。
和相邻概念的区别
| 概念 | 核心动作 | 时间点 |
|---|---|---|
| 预注册 | 写下并锁定假设与指标 | 收数据之前 |
| 实验追踪(experiment tracking) | 记录实际跑了什么、参数是什么 | 跑的过程中 |
| 注册报告(Registered Reports) | 期刊在数据出来前审设计,通过则原则上接收 | 收数据之前 |
| 同行评审(peer review) | 事后评价做得对不对 | 出结果之后 |
几个容易混的点:
- 预注册不等于实验设计做得好。 它只锁时间顺序,不保证设计高明。一份草率的预注册仍然是预注册,只是没多大用。
- 预注册不等于不能改。 允许改,但改了要留痕:写清楚"原计划是什么、为什么改、改在看完数据之前还是之后"。看完数据之后的调整,如实标注为探索性分析即可。
- 注册报告比预注册更重。 前者是期刊给了"原则上接收"的承诺,后者只是一份带时间戳的文档。
对实际工作的意义
对 AI 从业者,预注册最直接的落点是模型评测和消融实验。写一段话就够用:假设是什么、主指标是哪个、护栏指标有哪些、样本量多少、什么情况下提前停、什么结果会让你放弃这个方案。这段话最好在跑第一版提示词之前就写进共享文档里,团队都能看见。
对普通职场人,逻辑是一样的:做增长实验、改投放素材、推新流程,先定"什么算赢"。否则复盘会上永远在吵标准,而不是在讨论事实。
需要提醒的是:不同平台、不同期刊对预注册的字段和流程要求并不一致,具体以官方页面为准。预注册也管不住所有偏差,它只是一道便宜的护栏——花二十分钟写清楚,能省掉很多事后扯皮。
