一句话定义
Open LLM Leaderboard（开放大语言模型排行榜）是由 Hugging Face 社区维护的公开榜单。它用一套固定的评测题目和统一的判分脚本，给提交上来的开源模型打分、排名，让人不用自己跑测试，就能大致比较不同模型。
分数是怎么来的
榜单背后是一组 benchmark（基准测试）。每个 benchmark 就是一批题目，多为选择题或短答案题。评测时，系统按固定格式把题目喂给模型（常见的是“从 A/B/C/D 里选一个”），再用脚本自动比对答案，算出正确率。整个过程不需要人工阅卷，因此能规模化地评测几十上百个模型。
打个比方，这像一场题库公开的开卷考试：卷子一样、判分标准一样，分数看上去可比。但开卷、题库还公开在网上，考生（模型）在“复习”（预训练）阶段很可能已经把题目连同答案一起读过了。
为什么分数不能直接当成实际能力
- 数据污染（data contamination）：题目和答案公开在网上，模型训练时可能见过，考的是记忆，并非推理。
- 格式问题可能比能力问题更关键：模型也许知道答案，只是不会按要求的格式输出，就被判错；反过来，靠猜测选项分布也可能蒙对。
- 覆盖范围窄：大多是知识问答和选择题，不衡量多轮对话、长文档理解、工具调用、代码能否跑通，也不衡量响应速度和推理成本。
- 提交由第三方完成：各家用的 prompt（提示词）、示例数量、是否量化都不相同，横向比较未必公平。
- 榜单本身会变化：题目、判分脚本都会更新，不同时期的分数不宜直接比较。具体以官方页面为准。
和相邻概念的区别
| 类型 | 测什么 | 主要短板 |
|---|---|---|
| 公开基准榜单 | 固定题目上的正确率 | 题目公开，容易被“押中” |
| 人类偏好竞技场 | 匿名两两对比，人选哪个回答更好 | 主观，受投票人群影响 |
| 自家业务评测 | 你的真实任务上好不好用 | 不公开，无法跨团队比较 |
实际意义
选型时把榜单当筛子，而不是当尺子：先按榜单圈出十来个候选，再用自己业务里几十上百条真实问题做小测，看谁真的能用。看榜时要留意评测日期、评测配置和模型规模，别只看名次。对普通用户来说，榜单第一名也不等于聊起来最顺手：中文表达、响应速度、界面体验，这些榜单往往不测。