一句话定义:OpenAI Evals 是一套评测框架,用「数据集 + 评分器」把模型的表现变成可以反复运行、可以对比的测试,从而像单元测试那样,在上线前发现模型变差。
三个零件,一个比方
它其实只做三件事:
1. 数据集(dataset):一堆样本,每条通常包括一个输入(input),以及可选的「理想答案」(ideal)。
2. 评分器(grader):判断模型这次输出算不算过关,比如精确匹配、正则匹配,或者干脆再叫一个模型来打分(model-graded eval,用模型当裁判)。
3. 运行与汇总:把模型、数据集和评分器组合起来,跑一遍,输出通过率(accuracy)、失败样本清单等。
打个比方:这就像连锁餐厅的品控巡检。数据集是一份标准菜单,每道菜都配有标准照片;评分器是质检员。有的质检员只负责对着标准照片看「是不是这道菜」,比较粗糙;有的质检员得真的尝一口,比较贵,也容易带有主观判断;跑一次 eval,就相当于全店巡检一次,最后出一张报表:哪几道菜不合格,不合格的是谁做的。
和相邻概念的区别
很多人会把 Evals 和「跑分」混为一谈。公开的基准测试(benchmark)像全国统考:题目是别人出的,分数用来横向比较不同模型谁强,你既改不了题,也很难知道自己的业务到底受不受影响。Evals 是你自己出的、针对自己业务的考卷。它也不等于传统单元测试:代码的单元测试断言是确定的,非黑即白;模型输出是自然语言,往往需要更宽松的判定标准,甚至需要「模型裁判」。
| 谁出题 | 主要用途 | 判定方式 | |
|---|---|---|---|
| 公开基准测试(benchmark) | 第三方 | 横向比较模型能力 | 固定题库、固定打分 |
| OpenAI Evals | 你自己 | 回归测试、版本对比 | 自定数据集 + 自选评分器 |
| 传统单元测试 | 开发者 | 校验代码逻辑 | 精确断言 |
| 人工抽检 | 团队 | 兜底体验评估 | 人的主观判断 |
对从业者和普通人的意义
对从业者:改动提示词(prompt)、更换模型或调整参数之后,别只盯着几条样例觉得「好像更好了」。先攒一份小而精的 eval:几十条覆盖真实场景和边界情况的样本就够了,把它当作改动前后的对照基线。有几点经验:样本要来自真实日志,而不是凭空编造;「模型评分」方便但要警惕裁判偏好,比如偏爱长答案、偏爱某种语气,关键场景最好配上人工复核;eval 也要跟着业务变化持续更新。具体接口与用法,以官方页面为准。
对普通职场人:看到「某模型分数很高」时,值得多问一句:这是哪个 eval、题目和你的业务像不像?模型能力的差异,很多时候只在特定任务上才明显。
