跳到主内容
快讯直播
AI智模界
AI 词典

预注册:先把话说明白,再动手做实验

一句话定义:预注册(Pre-registration)是指在开始实验、收集数据之前,先把要验证的假设、成功指标、分析方法和停止条件写下来并固定存证,然后再去看结果。

为什么需要它

人特别擅长"事后解释"。看到一个数字涨了,大脑会立刻编出一个合理的原因;看到三个指标里有一个变好了,手会不自觉地把那一个拎出来当结论。这不是道德问题,是认知习惯。

一个常见的例子:你想验证某个提示词改写策略是否有效,于是准备了准确率、响应长度、幻觉率、用户满意度四个指标,跑了五种改法。二十多种组合里,总有几个数字是好看的。如果这时才决定"我们以幻觉率为核心指标",那结论就不是实验得出的,而是挑出来的。学术上把这类操作叫 p 值操控(p-hacking)和事后假设(HARKing,Hypothesizing After the Results are Known)。

预注册的作用很朴素:把"选指标"这一步挪到"看结果"之前。

打个比方:装修前先签一份验收单,写清楚"墙面误差不超过 2 毫米、瓷砖空鼓率为零",装完再照着单子验。而不是装完站在屋里说"我觉得这面墙看着还行"。前者约束的是双方,后者只约束钱包。

和相邻概念的区别

概念核心动作时间点
预注册写下并锁定假设与指标收数据之前
实验追踪(experiment tracking)记录实际跑了什么、参数是什么跑的过程中
注册报告(Registered Reports)期刊在数据出来前审设计,通过则原则上接收收数据之前
同行评审(peer review)事后评价做得对不对出结果之后

几个容易混的点:

  • 预注册不等于实验设计做得好。 它只锁时间顺序,不保证设计高明。一份草率的预注册仍然是预注册,只是没多大用。
  • 预注册不等于不能改。 允许改,但改了要留痕:写清楚"原计划是什么、为什么改、改在看完数据之前还是之后"。看完数据之后的调整,如实标注为探索性分析即可。
  • 注册报告比预注册更重。 前者是期刊给了"原则上接收"的承诺,后者只是一份带时间戳的文档。

对实际工作的意义

对 AI 从业者,预注册最直接的落点是模型评测和消融实验。写一段话就够用:假设是什么、主指标是哪个、护栏指标有哪些、样本量多少、什么情况下提前停、什么结果会让你放弃这个方案。这段话最好在跑第一版提示词之前就写进共享文档里,团队都能看见。

对普通职场人,逻辑是一样的:做增长实验、改投放素材、推新流程,先定"什么算赢"。否则复盘会上永远在吵标准,而不是在讨论事实。

需要提醒的是:不同平台、不同期刊对预注册的字段和流程要求并不一致,具体以官方页面为准。预注册也管不住所有偏差,它只是一道便宜的护栏——花二十分钟写清楚,能省掉很多事后扯皮。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。