MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）是一套用来衡量大模型"知识面够不够宽"的选择题基准，覆盖 57 个学科——从高中数理化和计算机、统计，到法律、医学、会计、美国史、道德哲学等，总共一万多道四选一的题目。
它的玩法很朴素：每题给出题干和 A/B/C/D 四个选项，模型只能选一个，答对计分，最后按学科分别汇总，所以你不只能看到总分，还能看到它在哪类学科上明显偏科。因为四个选项里只有一个是对的，闭着眼睛瞎猜的期望正确率是 25%，这也是判读分数时的基线。测试时通常还会在提示词里先塞几道示例题（few-shot），让模型照着格式作答。
打个比方：这就像把 57 个专业的期末选择题卷子订成一本合订本，让一个考生从第一页做到最后一页，不许翻书、不许問人、也不许挑题。它考的核心是"见过、记住了、能认出来"，而不是"现场推导出一个从未有过的新结论"。
它和相邻的几套测试，定位并不一样：
| 基准 | 主要考什么 | 典型形式 |
|---|---|---|
| MMLU | 跨学科的本科级通识知识 | 四选一，按学科分组 |
| MMLU-Pro | 同类知识，但更难、更抗蒙 | 选项更多，推理链更长 |
| GPQA | 研究生水平的科学问答 | 专家出题，难度高 |
| GSM8K | 小学数学应用题 | 需要一步步算，考推理 |
可以看到，MMLU 属于"广度型"测试，而 GSM8K 这类更偏"推理型"。一个人文知识很强但算术一般的模型，可能在前者得分高、后者掉链子，反过来也成立。
MMLU 现在最常被提到的问题是逐渐饱和。原因有三：题目公开、难度大致停留在本科入门到进阶之间、还有 25% 的猜对概率。于是头部模型的成绩高度接近甚至超过人类答题者的平均水平，大家分数挤成一团，区分度越来越差。更麻烦的是数据污染——这些题目在网上流传多年，很可能已经进了训练数据，分数会虚高。因此现在看榜单，往往会同时参考更难或更新鲜的基准，具体口径以各家官方页面为准。
对从业者的意义很直接：选型时不要把 MMLU 当唯一指标，它只说明"知识面大概什么档位"；真正决定成败的是你的任务分布——是写代码、审合同还是做客服问答，最好用几百条自己的真实样本做私有评测。对普通人来说，看到某模型 MMLU 高分，可以理解成"它像一本挺全的百科全书"，但它在你的具体事情上靠不靠谱，还是得亲自试几轮才知道。