一句话定义:信度(reliability)问的是“重跑一遍,分数还差不多吗”;效度(validity)问的是“这个分数,真的反映了你在乎的那件事吗”。
先打个秤的比方。同一袋米,你站上体重秤三次,读数分别是 50.0、50.1、49.9 公斤,这叫信度高,读数稳定可复现。但如果这台秤没归零,永远多报 3 公斤,那它信度很高、效度却很低:稳定地测错。反过来,一台读数乱跳的秤,连“它到底测了什么”都无从谈起。所以有句老话:信度是效度的必要条件,不是充分条件。
benchmark 的信度从哪来。模型跑分不是物理测量,它更像抽样调查。题库是从“这类题”里抽出来的一小把样本,换一批题,分数就会动;解码有随机性,温度(temperature)不为零时同一道题两次答案可能不同;提示词(prompt)措辞、选项顺序、少样本示例(few-shot)的挑法,都会让分数漂移;如果用一个模型当裁判(LLM-as-a-judge),裁判自己也不稳定。再加上最朴素的一条统计学常识:样本量越小,波动越大。几百道题的评测里,一两个百分点的差距往往就落在随机波动范围内。想提高信度,办法很土但有效——多跑几次取中位数、扩大题量、固定提示词与判分脚本、公开评测配置,并给分差配一个置信区间,而不是只报一个孤零零的数字。
效度才是更容易翻车的地方。分数稳定了,不代表它测的是你以为的东西。常见毛病有三类:一是构念偏差,比如代码题用单元测试判分,测出来的其实是“能不能过给定用例”,而不是“能不能在大型仓库里做维护”;二是覆盖不足,一个 benchmark 只覆盖某种题型,却被当成“通用能力”的代言人;三是污染与应试,题目进了训练数据,或者团队专门针对榜单调优,分数上去了,真实场景没动——这正是效度被掏空的典型症状。
| 信度(reliability) | 效度(validity) | |
|---|---|---|
| 追问 | 重跑还一样吗 | 测的是那件事吗 |
| 典型问题 | 题量太少、随机性、判分不稳 | 题目偏窄、数据污染、对着榜单调优 |
| 怎么补救 | 多跑取中位数、扩样本、固定配置 | 换多个评测交叉验证、做下游任务验证、留出未公开题 |
| 关系 | 必要条件 | 信度低则效度无从谈起 |
对从业者的意义:报分时把“怎么测的”一起报出来,比多报零点几个点更有价值;把线上指标、人工评估、公开榜单三路对照,比死磕单一榜单排名靠谱;遇到微小分差,先当平手处理。对普通职场人的意义:看到“某某模型某榜单第一”,先问三句——差多少、题量多大、这些题跟我的场景像不像。差距小就当打平,榜单的选题方向比名次更值得看。具体榜单的评测方法与更新,以官方页面为准。
