一句话定义:LM Evaluation Harness 是 EleutherAI 开源的一套语言模型评测框架(evaluation harness)。它把不同模型放进同一套题目、同一套提问方式、同一套判分规则里跑一遍,让分数之间具备可比性。
它解决的问题:同一道题,不同问法
评测一个模型,不只是让它答题。同样一道题,怎么问、怎么判,结果能差出好几个百分点。比如问“法国的首都是哪里”,模型答“巴黎”和答“法国的首都是巴黎”,人工看都对,但一个粗暴的字符串匹配程序可能只认前者。再比如多选题,是让模型输出字母,还是输出选项原文?prompt 末尾有没有“答案:”这几个字?这些细节都在影响分数。
Harness 的作用就是把这些细节固定下来:题目模板、答案抽取规则(正则匹配、选项对齐等)、指标计算(准确率、perplexity 等)全部写进代码,任何人下载同一版本、跑同一任务,得到的是同一套规则下的数字。打个比方,它像高考的考场加阅卷规则:试卷(benchmark)决定考什么,harness 决定怎么发卷、怎么收卷、怎么判分。换一套阅卷规则,同一批考生的成绩单就没法横着比。
zero-shot 与 few-shot:口径差异的关键
这是读榜单时最容易踩的坑。
- zero-shot:题目里不给任何示例,直接问。
- few-shot:先给几个“例题 + 标准答案”,再让模型答当前这题。常见的有 5-shot、10-shot。
同一模型,few-shot 通常比 zero-shot 分高。但这不是模型变聪明了,而是题目变简单了,相当于把闭卷改成开卷,还附了几道例题。示例的数量、挑选方式(固定还是随机、从哪个池子里抽)、排列顺序,都会让分数浮动。因此“某模型在某某任务上 70 分”这句话,如果不带 shot 数和模板信息,基本无法复现,也无法和别的模型比。
| 概念 | 是什么 | 类比 |
|---|---|---|
| Benchmark(如 MMLU、HellaSwag) | 题库与标准答案 | 试卷 |
| Harness | 统一的施测与判分流程 | 考场规则 + 阅卷标准 |
| Leaderboard | 汇总排名展示 | 成绩榜 |
| zero-shot / few-shot | 题目里给不给示例 | 闭卷 / 开卷带例题 |
再区分两个常被混用的词:harness 和 benchmark 不是一回事,前者是跑步机,后者是跑步机上跑的项目;leaderboard 则是跑完之后贴出来的排名表。harness 只做推理评测,不参与训练。
实际意义
对从业者:模型迭代时,用同一 harness、同一任务版本、同一 shot 配置做对照,才能判断提升是真实的还是口径变了。对外报数时,写清任务版本、shot 数与模板,是基本的可复现礼貌。
对普通职场人:看到“某模型登顶某榜单”,可以追问三件事——几 shot、什么模板、谁跑的。这三个答案不同,排名就可能不同。具体的任务清单与版本更新以官方页面为准。
