跳到主内容
快讯直播
AI智模界
AI 词典

评测契约:上线前先说清什么算没退化

评测契约(Eval Contract)是团队在上线前达成的一份“评测验收单”:评哪些场景、用什么数据、达到什么条件才能发布,以及什么情况算退化、不通过怎么处理。它把“感觉变好了”变成可执行的门禁(Gate)。

为什么需要它

模型或提示词一改,常常是“修好 A,弄坏 B”。没有契约,评审就容易变成口味之争:有人说更聪明,有人说更啰嗦。评测契约像装修验收单:不是进门看一眼说“挺不错”,而是水电、防水、插座逐项验收,不合格就不交房。它要求先把验收项和合格线写下来,再跑评测。

一份能用的契约通常包含几件事:回归范围(Regression Scope),即哪些关键场景、用户切片和失败案例必须重跑;基线,通常是对比上一版或线上版本;指标与阈值,包括总体指标和分场景指标;波动容忍,明确正常波动多大算可接受;关键案例零容忍,比如退款、改地址、发票这类问题必须全对;以及失败处置,是回滚、加人复核,还是带着已知问题发布。

什么算“没退化”

关键不是平均分不降,而是关键路径不坏。可以约定:核心场景不下降;最差切片不恶化;延迟和成本不越界;失败样例能解释并归因。比如客服机器人换新版,契约可以写“退款、改地址、发票三类问题必须全对,整体通过率不低于基线,语气评分不出现明显下降”。具体阈值由团队按业务定,别拍脑袋,也别拿一次跑分当永久结论。

和相邻概念的区别

概念作用打个比方
评测集(Eval Set)提供题目题库
评测指标(Metric)提供尺子打分标准
评测报告(Eval Report)记录成绩成绩单
评测契约(Eval Contract)事先约定及格线和补考规则考前签的验收单
服务等级协议(SLA)对外承诺服务水平对客户的保修条款

评测契约是内部上线门禁,SLA 是对外承诺;前者管“能不能发”,后者管“发出去要保证什么”。

对实际工作的意义

对从业者,它减少“我觉得更好”的争论,让发布可审计、可回滚;对普通人,它意味着产品更新少翻车,出了问题也有明确的回归依据。落地不必追求大而全:先覆盖最痛的三五个场景,每次线上事故补一条契约,慢慢长成一张回归网。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。