评测契约(Eval Contract)是团队在上线前达成的一份“评测验收单”:评哪些场景、用什么数据、达到什么条件才能发布,以及什么情况算退化、不通过怎么处理。它把“感觉变好了”变成可执行的门禁(Gate)。
为什么需要它
模型或提示词一改,常常是“修好 A,弄坏 B”。没有契约,评审就容易变成口味之争:有人说更聪明,有人说更啰嗦。评测契约像装修验收单:不是进门看一眼说“挺不错”,而是水电、防水、插座逐项验收,不合格就不交房。它要求先把验收项和合格线写下来,再跑评测。
一份能用的契约通常包含几件事:回归范围(Regression Scope),即哪些关键场景、用户切片和失败案例必须重跑;基线,通常是对比上一版或线上版本;指标与阈值,包括总体指标和分场景指标;波动容忍,明确正常波动多大算可接受;关键案例零容忍,比如退款、改地址、发票这类问题必须全对;以及失败处置,是回滚、加人复核,还是带着已知问题发布。
什么算“没退化”
关键不是平均分不降,而是关键路径不坏。可以约定:核心场景不下降;最差切片不恶化;延迟和成本不越界;失败样例能解释并归因。比如客服机器人换新版,契约可以写“退款、改地址、发票三类问题必须全对,整体通过率不低于基线,语气评分不出现明显下降”。具体阈值由团队按业务定,别拍脑袋,也别拿一次跑分当永久结论。
和相邻概念的区别
| 概念 | 作用 | 打个比方 |
|---|---|---|
| 评测集(Eval Set) | 提供题目 | 题库 |
| 评测指标(Metric) | 提供尺子 | 打分标准 |
| 评测报告(Eval Report) | 记录成绩 | 成绩单 |
| 评测契约(Eval Contract) | 事先约定及格线和补考规则 | 考前签的验收单 |
| 服务等级协议(SLA) | 对外承诺服务水平 | 对客户的保修条款 |
评测契约是内部上线门禁,SLA 是对外承诺;前者管“能不能发”,后者管“发出去要保证什么”。
对实际工作的意义
对从业者,它减少“我觉得更好”的争论,让发布可审计、可回滚;对普通人,它意味着产品更新少翻车,出了问题也有明确的回归依据。落地不必追求大而全:先覆盖最痛的三五个场景,每次线上事故补一条契约,慢慢长成一张回归网。
