跳到主内容
快讯直播
AI智模界
AI 词典

评测漂移:分数还在,尺子已经换了

一句话定义:评测漂移(Eval Drift)是指评测集、评分标准或评测环境随时间悄悄发生变化,使得同一个模型在两个时间点拿到的分数不再具有可比性,但人们还在拿这些分数做排名和决策。

打个比方:体检。某天体检中心换了检测仪器、调整了参考区间、读片的医生也换了人,你手上那张化验单还是那个数字,可它已经不能和三年前那张直接对比。没人告诉你“尺子换了”,你就会误以为身体变好了或者变差了。评测漂移就是 AI 领域的这件事,区别在于,换尺子这件事往往没人通知你。

漂移从哪儿来

题目泄漏(data contamination):评测集是公开的,被爬进了训练数据。模型不是在解题,是在回忆。分数涨了,能力没涨。

判分器变了:规则脚本改了、LLM 裁判(LLM-as-a-judge)的提示词或底层模型换了、人工标注规范(annotation guideline)改了。同一份回答,去年判对,今年判错。

分布漂移(distribution shift):真实用户的提问方式变了,评测集还是两年前的题;反过来,评测集被反复拿来调参,就成了练习册,分数只反映“背得好不好”。

环境细节:推理参数、系统提示、工具链、依赖库版本,任何一项变动都会让分数波动。

和相邻概念的区别

数据泄漏是漂移的一个成因,不是全部。分布漂移说的是外部世界变了、模型真的跟不上了;评测漂移说的是尺子变了,模型可能一点没变。基准饱和(benchmark saturation)则是分数顶到天花板、失去区分度。

现象变的是什么典型症状
评测漂移尺子模型没改,分数却涨了或跌了
分布漂移世界线上效果掉,离线分数没动
数据污染训练数据榜上很高,换个问法就答不对
基准饱和区分度大家都接近满分,排不出名次

四者常一起来:一个基准从好用到废掉的过程,往往就是污染、饱和与漂移同时发生的过程。

对实际工作的意义

报分数必须带标签:时间、评测集版本、判分方式,缺一个,这个数字就只能当故事听。

像管代码一样管评测集:有版本号、有变更日志,改了题就重跑历史基线,否则前后两批数字接不上。

留一份锚点题(anchor set):不对外公开、不进训练、长期不动,专门用来跨时间对齐。

定期人工抽检判分器:LLM 裁判也要“对表”,用人工标好的样本校准它,别让它悄悄改了脾气。

别信零点几分的高低:跨版本、跨时间的微小差距,大概率落在噪声里。具体评测集的规则和统计口径,以官方页面为准。

评测的价值从来不只在那个数字,而在于你知道这个数字是怎么来的。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。