一句话定义:Humanity's Last Exam(简称 HLE)是一个面向“人类专家级”难度的大AI 词典:模型评测基准">模型评测基准(benchmark),题目由各学科专家出题、答案唯一可自动判分,目的是在旧榜单被刷满之后,重新为模型能力设定更高的上限。
它怎么做到“难”:HLE 的出题逻辑是反向筛选。先向各领域专家广泛征集题目,再把三类题剔除掉:模型已经能答对的、网上直接能搜到答案的、表述含糊有争议的。最后留下的,都是“人类专家能做、模型做不对且答案明确”的题。学科覆盖很杂,高等数学、物理、法律、古典文献、医学、工程都有;题目形式多为选择题和短答案题。为避免模型背题,除公开题集外还保留不公开的题集;具体规模与构成以官方页面为准(由 Center for AI Safety 与 Scale AI 等机构联合推出)。
打个比方:常规评测像体检的常规项目:量血压、测视力,人人能测,但很快就能测到上限,无法反映更高水平;HLE 则像一条人工设定的极限登山路线,只有少数专业登山者能登顶,测的是“你能爬到多高”。它是用来探测能力上限的基准(ceiling probe),并非及格线。
和相邻概念的区别:
| 基准 | 考什么 | 答案形式 | 现状 |
|---|---|---|---|
| MMLU | 学科常识选择题 | 四选一 | 已接近饱和 |
| GPQA | 研究生级理科问答 | 选择/短答 | 专家轻松、模型吃力 |
| AIME | 竞赛数学 | 数字答案 | 单科,易被针对性训练 |
| HLE | 跨学科专家难题 | 选择/短答 | 当前能力上限的探测基准 |
和 Chatbot Arena 这类人类投票榜单更要分清:后者测“讨不讨人喜欢”,HLE 测“答得对不对”,两者不能互相替代。
对实际工作意味着什么:HLE 高分,只说明模型在“有唯一正确答案的闭卷难题”上很强。而真实工作里的事大多没有标准答案:需求含糊、信息不全、要和人反复确认、要动手改文件调工具、做错了得自己发现并纠正。这些 HLE 一项都不考。所以分数高不等于能干活,分数不高也不等于在你的场景里没用。
对从业者,选型时别只看 HLE,要拿自己业务的真实任务做小规模评测;对普通职场人,看到“AI 考试成绩超过博士”的新闻,可以翻译成“它做闭卷奥赛题很厉害”,而不是“它能替我上班了”。
