一句话定义：模型版本对比评测（Model Diff）是指在同一个模型的新旧两个版本之间，用同一批固定题目、同一套评分标准逐条比对输出，用来证明新版本没有在某些你没注意到的场景上悄悄退步。
为什么不能只看“更强了”
换模型的典型流程是：新版本发布后，官方说明写“能力全面提升”，你拿几个常用问题试了试，确实更聪明，于是上线。问题在于，真实的用户请求并不都是那几个常用问题。
打个比方：一家连锁餐厅换了厨房设备，主厨尝了招牌菜说“更好吃了”，就全线上新。结果招牌菜确实更香，但汤变咸了，甜点份量少了，外卖打包漏汤了。这些都不会在“尝招牌菜”这一步暴露。
模型换版就是这样。新版本在通用能力上变强，是完全可能的；与此同时，它在长尾输入、特定格式约束、某些语种、超长上下文、拒答边界上变差，也是完全可能的。而且在模型迭代中，这两种情况经常同时出现。
具体怎么做
1. 建一套回归题集（regression set）。题目不要凭空编写，而要从真实业务日志里抽样：高频场景、长尾场景、边界输入、以及历史上出过问题的 badcase。凡是让线上出过问题的题目，必须入库，永不删除。
2. 固定评分标准。能用规则判定的就用规则：JSON 能不能解析、必填字段全不全、长度是否合规、该拒答的拒答没有。不能靠规则的，用统一的评委模型或人工评分，而且评委的 prompt 和模型版本要固定，否则你测的是评委的变化。
3. 逐条对比，而非只看平均分。平均分涨了一点，可能是 100 条里 30 条变好、28 条变差、其余持平。真正要查的是“变差的是哪几条，它们有什么共性”。
4. 分层统计。按场景、难度、输入长度、语种分成几组，看哪一组的表现下滑了。整体没变，不等于每个环节都没变。
和相邻概念的区别
| 模型版本对比评测 | 公开榜单跑分 | 线上 A/B 测试 | |
|---|---|---|---|
| 用什么题 | 你自己的真实业务题 | 公开通用题 | 真实流量 |
| 什么时候做 | 上线前 | 选型时参考 | 上线后 |
| 回答什么问题 | 有没有退步 | 大致什么水平 | 业务指标是否变好 |
| 主要风险 | 题集过时、标准漂移 | 与你的场景不匹配 | 有损，且慢 |
三者的关系是：榜单帮你筛选候选版本；Model Diff 帮你决定是否发布；A/B 帮你验证业务收益。不能用其中一个代替另一个。
两个容易忽略的细节
一是保留集。如果你反复用同一套题调整 prompt 直到全部通过，这套题就失效了，因为模型已经被你调到贴合这套题了。留一份“平时不看、只在发布前跑一次”的题，才有说服力。
二是参数要冻结。temperature、最大输出长度、AI 词典：系统提示词">系统提示词这些变量，在新旧两版之间保持一致，否则你测的是配置差异，而不是模型差异。
对从业者和普通人的意义
对做模型应用的人来说，回归题集是迭代的基础设施，它的价值不低于 prompt 本身；没有它，每次换模型都是把风险带到线上，让真实用户承担验证成本。对普通职场人来说，听到“我们换了个更强的模型”时，可以多问一句：老问题重跑过吗？退步的那几条，看过吗？
具体的版本能力说明，以官方页面为准。