一句话定义:模型行为回归(Model Behavior Regression)指模型升级、换版本或改动提示词之后,用一批固定的用例重新跑一遍,检查它原本做对的事有没有悄悄做错。关注点是“哪些具体行为变了”,并非“总分涨了多少”。
为什么平均分会掩盖问题
打个比方:一家常去的饭馆换了厨师。新厨师手艺更好,大众点评分从 4.2 涨到 4.5,但老客人的“不要葱”“少放盐”没人记得了。总体更受欢迎,你那一桌却吃不下去了。
模型也是这样。它是个概率系统,训练数据、微调、AI 词典:系统提示词">系统提示词、解码参数、上下文长度,任何一处改动都会让行为在边缘案例上发生偏移。而平均分是总量指标:99 条用例各提升一点点,就能盖过 1 条用例的明显变差。偏偏那 1 条,可能正是“遇到退款请求必须先确认订单号”或者“不确定时必须说不知道”。
具体例子:某客服助手旧版本收到“我要退款”会先追问订单号;新版本更“能干”,直接回复“已为您提交退款”。满意度评分上升,但业务流程被打穿了。
和几个相邻概念的区别
| 关注点 | 时机 | 判定方式 | |
|---|---|---|---|
| 常规评估(Evaluation) | 能力有多强 | 训练、选型阶段 | 平均分、总分 |
| 行为回归 | 哪些行为变了 | 每次换版本、改提示词 | 逐条用例通过或不通过 |
| 线上监控(Monitoring) | 线上有没有出事 | 上线之后 | 指标告警 |
和软件工程里的回归测试(Regression Test)也不同:代码是精确匹配,模型输出是自然语言,同一条用例的正确表现往往有多个,所以判定要靠规则断言、打分器(Grader)或人工抽检,不能只做字符串比对。
对实际工作的意义
从业者:维护一个“行为用例库”,每条写清三件事:输入是什么、期望行为是什么、不可接受行为是什么。除了正确性,还要覆盖拒答边界、输出格式、语气口径、该转人工时是否转人工。用例来源很实在:线上 badcase、事故复盘、业务硬规则。每次发版前后各跑一遍,把差异条目 diff 出来人工过一眼,比盯总分有用得多。这套流程可以接进 CI,但结论仍要人看。
普通职场人:模型换版本那天,别默认“新的更好”。把你在意的老任务抽几条重跑一遍,尤其是格式、口径、合规话术这类硬要求。验收标准写下来,升级就重验一次,比事后返工便宜。
一句话收尾:平均分告诉你它变强了,行为回归告诉你它有没有变坏。各家的版本变更说明以官方页面为准。
