跳到主内容
快讯直播
AI智模界
AI 词典

LM Evaluation Harness:统一跑分才有可比性

一句话定义:LM Evaluation Harness 是 EleutherAI 开源的一套语言模型评测框架(evaluation harness)。它把不同模型放进同一套题目、同一套提问方式、同一套判分规则里跑一遍,让分数之间具备可比性。

它解决的问题:同一道题,不同问法

评测一个模型,不只是让它答题。同样一道题,怎么问、怎么判,结果能差出好几个百分点。比如问“法国的首都是哪里”,模型答“巴黎”和答“法国的首都是巴黎”,人工看都对,但一个粗暴的字符串匹配程序可能只认前者。再比如多选题,是让模型输出字母,还是输出选项原文?prompt 末尾有没有“答案:”这几个字?这些细节都在影响分数。

Harness 的作用就是把这些细节固定下来:题目模板、答案抽取规则(正则匹配、选项对齐等)、指标计算(准确率、perplexity 等)全部写进代码,任何人下载同一版本、跑同一任务,得到的是同一套规则下的数字。打个比方,它像高考的考场加阅卷规则:试卷(benchmark)决定考什么,harness 决定怎么发卷、怎么收卷、怎么判分。换一套阅卷规则,同一批考生的成绩单就没法横着比。

zero-shot 与 few-shot:口径差异的关键

这是读榜单时最容易踩的坑。

  • zero-shot:题目里不给任何示例,直接问。
  • few-shot:先给几个“例题 + 标准答案”,再让模型答当前这题。常见的有 5-shot、10-shot。

同一模型,few-shot 通常比 zero-shot 分高。但这不是模型变聪明了,而是题目变简单了,相当于把闭卷改成开卷,还附了几道例题。示例的数量、挑选方式(固定还是随机、从哪个池子里抽)、排列顺序,都会让分数浮动。因此“某模型在某某任务上 70 分”这句话,如果不带 shot 数和模板信息,基本无法复现,也无法和别的模型比。

概念是什么类比
Benchmark(如 MMLU、HellaSwag)题库与标准答案试卷
Harness统一的施测与判分流程考场规则 + 阅卷标准
Leaderboard汇总排名展示成绩榜
zero-shot / few-shot题目里给不给示例闭卷 / 开卷带例题

再区分两个常被混用的词:harness 和 benchmark 不是一回事,前者是跑步机,后者是跑步机上跑的项目;leaderboard 则是跑完之后贴出来的排名表。harness 只做推理评测,不参与训练。

实际意义

对从业者:模型迭代时,用同一 harness、同一任务版本、同一 shot 配置做对照,才能判断提升是真实的还是口径变了。对外报数时,写清任务版本、shot 数与模板,是基本的可复现礼貌。

对普通职场人:看到“某模型登顶某榜单”,可以追问三件事——几 shot、什么模板、谁跑的。这三个答案不同,排名就可能不同。具体的任务清单与版本更新以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。