一句话定义:盲测(Blind Test)是在评测时把被评对象的身份,包括品牌、型号、版本号,全部藏起来,只把“作品”交给评分者,让人先判断好坏,再知道是谁做的。
评分看起来像测量,实际上是一次判断。判断会被“这是谁做的”这个念头影响。最经典的一幕在品酒桌上:把白葡萄酒染成红色,品酒师会一本正经地描述它的“单宁”和“浆果香”。酒没变,变的是预期。AI 评测同理:同一段回答,标上头部公司的名字,读起来就显得更笃定、更周全;换成“某团队实验模型”,同样的措辞就容易被挑出措辞松散、例子不够。这不是评分者不专业,而是人脑在省力,用品牌当先验,替代逐字审视。
所以严肃的排行榜会把名字抹掉:两段回答去掉署名、随机打乱左右位置,让评分者或裁判模型只回答“哪个更好”,全部评完再揭晓身份。随机顺序是为了防“位置偏见”:人确实更容易选先出现的那一个。
| 方式 | 评分者看到什么 | 主要防住什么 | 主要挡不住什么 |
|---|---|---|---|
| 署名评测 | 回答 + 模型名 | —— | 品牌光环、期望效应 |
| 匿名两两对战 | 两段匿名回答,顺序随机 | 品牌偏见、位置偏见 | 风格特征、长度偏见 |
| 静态基准跑分 | 有标准答案的题目 | 主观偏差 | 题目泄漏、只测窄能力 |
几个容易混的概念:盲测说的是“屏蔽信息”,本身不是统计方法;双盲(Double-blind)是更强的版本,连出题和统计的人也不知道分组;A/B 测试只是同时呈现两版,完全可以不盲;而基准跑分(Benchmark)测的是有标准答案的能力,盲测多用于没有标准答案的主观质量,比如“这段话写得让人愿意读完吗”。
品牌先入为主到底能抬高多少?方向是确定的,幅度没有通用数字,它取决于评分者的专业程度、题目难度、品牌知名度,以及两段回答本身的差距。差距大时,盲不盲结论一样;盲测真正改变结果的地方,是那些“差不多好”的对局,而这恰恰是选型时最常遇到的局面。也别把盲测当万能:模型有“风格特征”,有的固定爱分点、爱加免责声明,有的回答天然更长,评审仍可能猜出身份或偏爱篇幅更长的一方。成熟的盲测还会控制长度和格式。
对从业者的实际意义:内部比较模型或评估 prompt 改版时,先做盲测;给评审看的材料里别标“这是新版本”,否则对方会替你找优点。对普通职场人:看到榜单,先看它怎么测、藏没藏名字、规则怎么定(各家会调整,以官方页面为准);自己挑工具时,先把 logo 放一边,盲用几天,再看参数表。
