一句话定义:人类基线(Human Baseline)是在某个评测基准(benchmark)中,由人类完成同一任务得到的参考成绩,用来判断模型表现离“人”有多远。
benchmark 像一张统一试卷。要让分数有意义,就得先知道“人做这张卷子大概能得多少分”。这个人类参考分就是人类基线。它通常由标注员(annotator)、众包工人(crowdworker)或少量专家按规则做题,再汇总成平均分或通过率。
打个比方:一场跑步比赛想证明机器跑得快,于是拉来一群志愿者跑同一条路线,用他们的平均成绩画一条“人类线”。机器过线了,宣传语就写成“超过人类”。但关键问题是:志愿者是谁?跑的是全程还是某一段?允许穿跑鞋吗?当天天气一样吗?人类基线也有同样的问题——它往往只是“某批标注者在某个测试集上的平均表现”。
所以,“模型超过人类基线”通常只说明:模型在这个测试集上,超过了这批标注者的平均水平。它不等于超过人类专家,也不等于在真实业务里稳定可靠。标注员可能不是领域专家,任务可能只覆盖某个子集,评分标准也可能偏宽松。模型可能只是更擅长这类题,而非真正具备专家的判断力。
几个相邻概念容易混:
| 概念 | 谁来做参照 | 回答的问题 | 常见误读 |
|---|---|---|---|
| 人类基线 | 标注员、众包工人或部分专家 | 普通人做这套题大概多少分 | 模型已经全面超过人类 |
| 专家基线 | 领域内熟练专家 | 专业人士认真做能做到多好 | 模型超过专家了 |
| SOTA(state of the art) | 模型排行榜 | 当前模型里谁得分最高 | 榜一就等于能落地 |
实际意义在于:读榜单时,先看人类基线是怎么来的——谁标注、样本多大、任务是否代表真实场景、是否允许查资料、评分一致性如何。产品选型别只看“超人类”标题,更要用自己的业务数据做小规模专家评测和用户评测。对评测设计者来说,把人类基线的细节写清楚,比多刷零点几分更有价值。
看到“模型超过人类”时,不妨先问一句:超过了谁,在哪道题上,按什么规则。
