一句话定义:评测漂移(Eval Drift)是指评测集、评分标准或评测环境随时间悄悄发生变化,使得同一个模型在两个时间点拿到的分数不再具有可比性,但人们还在拿这些分数做排名和决策。
打个比方:体检。某天体检中心换了检测仪器、调整了参考区间、读片的医生也换了人,你手上那张化验单还是那个数字,可它已经不能和三年前那张直接对比。没人告诉你“尺子换了”,你就会误以为身体变好了或者变差了。评测漂移就是 AI 领域的这件事,区别在于,换尺子这件事往往没人通知你。
漂移从哪儿来
题目泄漏(data contamination):评测集是公开的,被爬进了训练数据。模型不是在解题,是在回忆。分数涨了,能力没涨。
判分器变了:规则脚本改了、LLM 裁判(LLM-as-a-judge)的提示词或底层模型换了、人工标注规范(annotation guideline)改了。同一份回答,去年判对,今年判错。
分布漂移(distribution shift):真实用户的提问方式变了,评测集还是两年前的题;反过来,评测集被反复拿来调参,就成了练习册,分数只反映“背得好不好”。
环境细节:推理参数、系统提示、工具链、依赖库版本,任何一项变动都会让分数波动。
和相邻概念的区别
数据泄漏是漂移的一个成因,不是全部。分布漂移说的是外部世界变了、模型真的跟不上了;评测漂移说的是尺子变了,模型可能一点没变。基准饱和(benchmark saturation)则是分数顶到天花板、失去区分度。
| 现象 | 变的是什么 | 典型症状 |
|---|---|---|
| 评测漂移 | 尺子 | 模型没改,分数却涨了或跌了 |
| 分布漂移 | 世界 | 线上效果掉,离线分数没动 |
| 数据污染 | 训练数据 | 榜上很高,换个问法就答不对 |
| 基准饱和 | 区分度 | 大家都接近满分,排不出名次 |
四者常一起来:一个基准从好用到废掉的过程,往往就是污染、饱和与漂移同时发生的过程。
对实际工作的意义
报分数必须带标签:时间、评测集版本、判分方式,缺一个,这个数字就只能当故事听。
像管代码一样管评测集:有版本号、有变更日志,改了题就重跑历史基线,否则前后两批数字接不上。
留一份锚点题(anchor set):不对外公开、不进训练、长期不动,专门用来跨时间对齐。
定期人工抽检判分器:LLM 裁判也要“对表”,用人工标好的样本校准它,别让它悄悄改了脾气。
别信零点几分的高低:跨版本、跨时间的微小差距,大概率落在噪声里。具体评测集的规则和统计口径,以官方页面为准。
评测的价值从来不只在那个数字,而在于你知道这个数字是怎么来的。
