一句话定义：基准饱和（Benchmark Saturation）指在一个评测基准上，主流模型的表现已经普遍接近该基准的上限，导致分数不再能有效区分模型能力高低的现象。
打个比方：基准就像一把尺子。刚做出来时，模型们身高参差不齐，30分、50分、70分，一量就分出高下。可模型迭代太快，几年后头部模型都考到95分、98分、99分，分差只剩几分甚至零点几分。这就像拿小学一年级数学卷考大学生，人人都接近满分，你没法判断谁数学更好——不是大家没差距，而是这张卷子量不出来了。
怎么判断一个基准已经“废了”：
- 头部模型分数密集挤在顶部，前几名分差小于随机波动或统计噪声。
- 排行榜名次频繁互换，但实际使用体验没有对应变化。
- 分数与人工评估、真实业务表现严重脱节。
- 新模型提升主要靠提示词、格式技巧或集成，而不是核心能力。
- 题目可能已被训练数据污染（Data Contamination），模型“背过答案”，分数虚高。
这里要区分几个相邻概念：
| 概念 | 核心意思 | 典型信号 |
|---|---|---|
| 基准饱和 | 大家都接近满分，分不出高下 | 头部分数挤在顶部，排名靠噪声 |
| 天花板效应（Ceiling Effect） | 测量工具在高分段失去分辨力 | 分数分布贴上限，方差极小 |
| 数据污染 | 模型训练时见过测试题 | 分数异常高，换新题就掉 |
| 过拟合基准 | 针对该基准专门优化 | 该基准强，其他任务弱 |
饱和不一定是基准“错”了，而是它完成了历史使命：曾经能区分，现在区分不了。它可能仍然能筛掉弱模型，但无法回答“最强的那几个谁更强”。
对从业者的意义：选型时别只看排行榜第一名。先看头部分数分布，如果前几名分差在误差范围内，这个基准的参考价值有限。应结合多个基准、人工评估和实际业务场景测试。对基准作者来说，需要定期更新题目、隐藏测试集、报告置信区间，甚至主动“退休”旧基准。具体评测规则和最新榜单，以官方页面为准。
对普通人的意义：看到“某模型在某某基准上刷新纪录”时，先问一句：这个基准是不是已经饱和？题目公开了吗？有没有可能被训练过？分数高不等于用起来好，具体任务上的实际体验才是最终答案。
基准饱和不是模型的终点，而是基准的退休信号。