一句话定义
EvalOps(Evaluation Operations,评测运维)指的是把「评测」当成一套长期运行、有人负责、可版本化的工程系统来维护——评测集持续更新、评分器持续校准、上线门禁持续生效,而不是模型发版前临时拉几个人跑一次分。
为什么一次性评测不够
传统做法是:模型要上线了,找几十道题跑一跑,看分数还行就发布。问题在于,模型不是静止的:换了一版基础模型、改了提示词(prompt)、调了检索策略、加了新工具,行为都会变。一次性评测相当于每年体检一次,然后一整年不看血压——中间出了问题没人知道。
更麻烦的是评测本身也会腐烂。评测集里的题目可能被模型「记住」了,评分器的判断标准可能和真实用户体验脱节,线上新出现的失败模式根本没进过题集。所以评测集和评分器本身也需要像代码一样被维护。
三个持续运转的部件
- 评测集(Eval Set):要有版本、有来源、有责任人。线上真实 badcase 定期回流成新题目,过时的题目退役,避免「刷题」。常见分层是:小规模高频的核心回归集(每次改动都跑)+ 大规模低频的全面评测集。
- 评分器(Grader):规则匹配、模型打分(LLM-as-a-judge)、人工抽检各有适用场景。关键是评分器本身也要被校验——拿一批人工标注过的样本,看评分器和人的判断一致率如何,偏差大了就修。
- 上线门禁(Quality Gate):把分数接进 CI/CD 流水线,低于阈值就不许合入或发布;同时对线上做持续采样和告警,让「悄悄变差」这件事被及时看见。
和相邻概念的区别
| 关注点 | 交付物 | |
|---|---|---|
| Benchmark 跑分 | 和别家比,模型有多强 | 一个数字 |
| MLOps | 训练、部署、监控的工程化 | 流水线与平台 |
| EvalOps | 评测这件事本身能否持续可信 | 版本化的题集、校准过的评分器、门禁规则 |
EvalOps 不等于「用 LLM 当裁判」——那只是评分器的一种实现手段;也不等于 MLOps,它管的是「怎么判断质量」,而不是「怎么把模型训出来」。
对从业者的意义
做 AI 产品,模型能力往往不是瓶颈,不可控的质量波动才是。建立 EvalOps 意味着:每次改动都能在几分钟内知道有没有变差;线上出问题时,能把 badcase 快速转成一条永久回归用例;团队对「什么叫好」有共同的、写下来的标准,而不是靠感觉争论。
对普通人的意义
你不太会直接接触 EvalOps,但它决定了你用的 AI 功能是「某次更新后突然变笨了」还是「一直在稳定变好」。一个把评测当运维来做的团队,通常也更容易在上线前拦住那些会胡说八道、泄露信息或答非所问的行为。
想动手的话,最小可行的起点是:挑 50 条真实高频场景做成版本化题集,写一个能自动跑的评分脚本,接到每次改动上。先跑起来,比先跑得准更重要。具体工具与平台选择以各家官方页面为准。
