跳到主内容
快讯直播
AI智模界
AI 词典

人类基线:模型“超过人类”到底超过了谁

一句话定义:人类基线(Human Baseline)是在某个评测基准(benchmark)中,由人类完成同一任务得到的参考成绩,用来判断模型表现离“人”有多远。

benchmark 像一张统一试卷。要让分数有意义,就得先知道“人做这张卷子大概能得多少分”。这个人类参考分就是人类基线。它通常由标注员(annotator)、众包工人(crowdworker)或少量专家按规则做题,再汇总成平均分或通过率。

打个比方:一场跑步比赛想证明机器跑得快,于是拉来一群志愿者跑同一条路线,用他们的平均成绩画一条“人类线”。机器过线了,宣传语就写成“超过人类”。但关键问题是:志愿者是谁?跑的是全程还是某一段?允许穿跑鞋吗?当天天气一样吗?人类基线也有同样的问题——它往往只是“某批标注者在某个测试集上的平均表现”。

所以,“模型超过人类基线”通常只说明:模型在这个测试集上,超过了这批标注者的平均水平。它不等于超过人类专家,也不等于在真实业务里稳定可靠。标注员可能不是领域专家,任务可能只覆盖某个子集,评分标准也可能偏宽松。模型可能只是更擅长这类题,而非真正具备专家的判断力。

几个相邻概念容易混:

概念谁来做参照回答的问题常见误读
人类基线标注员、众包工人或部分专家普通人做这套题大概多少分模型已经全面超过人类
专家基线领域内熟练专家专业人士认真做能做到多好模型超过专家了
SOTA(state of the art)模型排行榜当前模型里谁得分最高榜一就等于能落地

实际意义在于:读榜单时,先看人类基线是怎么来的——谁标注、样本多大、任务是否代表真实场景、是否允许查资料、评分一致性如何。产品选型别只看“超人类”标题,更要用自己的业务数据做小规模专家评测和用户评测。对评测设计者来说,把人类基线的细节写清楚,比多刷零点几分更有价值。

看到“模型超过人类”时,不妨先问一句:超过了谁,在哪道题上,按什么规则。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。