一句话定义:地板效应(Floor Effect)和天花板效应(Ceiling Effect)是同一件事的两端:测试太难时人人接近零分,太容易时人人接近满分,分数都挤在一端,测试就失去了区分能力,你无法据此判断谁更强。
打个比方。公司要给全体员工量身高,但只有一把两档的尺子:一档只会亮“不到 1.7 米”,另一档只会亮“1.7 米以上”。结果篮球队员全亮第二档,幼儿园小朋友全亮第一档,两个组内部谁高谁矮,一点信息都没有。这就是测评的困境:区分度(discrimination)不来自及格线,而来自分数能否散开。分数挤在天花板下(人人 98、99、100),叫天花板效应;挤在地板上(人人 3、5、8 分),叫地板效应。
在 AI 评测里,这两端各有各的样子。天花板效应最常见:一个基准(benchmark)用久了,前沿模型的分数一路逼近满分,前几名只差零点几个百分点,排名更像随机波动;这时榜单还在更新,但已经不再说明问题,业内叫榜单饱和(saturation)。地板效应则相反:任务过难,比如需要长链条推理、冷门知识或多步工具调用,所有模型都掉到接近随机猜测的水平,分数看着有高低,其实差异落在噪声里。还有一种容易被忽略的情况:如果下限不是 0,地板可能是抬高的。比如四选一选择题,啥都不会也能蒙对约四分之一,此时“接近随机基线(random baseline)”才是真地板;再比如“必须给出格式正确的答案才算分”,很多模型卡在格式上拿 0,测出来的其实是格式遵循能力,不是你想测的能力。
| 地板效应 | 天花板效应 | |
|---|---|---|
| 成因 | 题目太难、评分太严、下限被随机猜测抬高 | 题目太简单、训练数据已覆盖、上限受指标封顶 |
| 表现 | 所有模型都接近最低分或随机基线 | 所有模型都接近满分,差距极小 |
| 后果 | 差异淹没在噪声里,无法排序 | 榜单饱和,无法区分强弱 |
| 怎么发现 | 对照随机基线与人类基线;看分数分布 | 看分数分布与方差,而非只看均值;查是否数据污染 |
和相邻概念的区别。天花板效应不等于“模型已经达到任务性能上限(ceiling performance)”:后者指任务本身有个客观最高分,比如人类标注者之间也只有 85% 一致率;天花板效应说的是这把尺子量不出差别,换一把更难的尺子可能立刻分出高下。它也和训练数据污染(contamination)不同:污染是分数虚高的原因之一,天花板效应是虚高之后无法区分的结果。另外,地板、天花板讲的是“整份测试的分数分布”,不是单个难题答错。
对从业者意味着什么。做评测的人:样本难度要铺开,保留一批“难但可解”的题,报告时同时给均值、分布和方差,并标明随机基线与人类基线;如果所有人都满分或都零分,该换题了,别急着下结论。做选型的人:看到一个榜单上模型分数都贴近满分,先问“这榜还分得开吗”;看到全都低得离谱,先问“随机猜能得多少”。普通职场人:内部评测集也一样,如果随手抽的案例人人都过,它证明不了供应商之间有任何差别——你需要的是梯度,不是及格线。基准的具体口径与最新分数,以各官方页面为准。
