跳到主内容
快讯直播
AI智模界
AI 词典

HLE:给 AI 出的“最后一张卷子”

一句话定义:Humanity's Last Exam(简称 HLE)是一个面向“人类专家级”难度的大AI 词典:模型评测基准">模型评测基准(benchmark),题目由各学科专家出题、答案唯一可自动判分,目的是在旧榜单被刷满之后,重新为模型能力设定更高的上限。

它怎么做到“难”:HLE 的出题逻辑是反向筛选。先向各领域专家广泛征集题目,再把三类题剔除掉:模型已经能答对的、网上直接能搜到答案的、表述含糊有争议的。最后留下的,都是“人类专家能做、模型做不对且答案明确”的题。学科覆盖很杂,高等数学、物理、法律、古典文献、医学、工程都有;题目形式多为选择题和短答案题。为避免模型背题,除公开题集外还保留不公开的题集;具体规模与构成以官方页面为准(由 Center for AI Safety 与 Scale AI 等机构联合推出)。

打个比方:常规评测像体检的常规项目:量血压、测视力,人人能测,但很快就能测到上限,无法反映更高水平;HLE 则像一条人工设定的极限登山路线,只有少数专业登山者能登顶,测的是“你能爬到多高”。它是用来探测能力上限的基准(ceiling probe),并非及格线。

和相邻概念的区别:

基准考什么答案形式现状
MMLU学科常识选择题四选一已接近饱和
GPQA研究生级理科问答选择/短答专家轻松、模型吃力
AIME竞赛数学数字答案单科,易被针对性训练
HLE跨学科专家难题选择/短答当前能力上限的探测基准

和 Chatbot Arena 这类人类投票榜单更要分清:后者测“讨不讨人喜欢”,HLE 测“答得对不对”,两者不能互相替代。

对实际工作意味着什么:HLE 高分,只说明模型在“有唯一正确答案的闭卷难题”上很强。而真实工作里的事大多没有标准答案:需求含糊、信息不全、要和人反复确认、要动手改文件调工具、做错了得自己发现并纠正。这些 HLE 一项都不考。所以分数高不等于能干活,分数不高也不等于在你的场景里没用。

对从业者,选型时别只看 HLE,要拿自己业务的真实任务做小规模评测;对普通职场人,看到“AI 考试成绩超过博士”的新闻,可以翻译成“它做闭卷奥赛题很厉害”,而不是“它能替我上班了”。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。