Embedded Assessment(嵌入式评估)是指把模型评测嵌进真实的产品与部署流程中,用线上真实流量和真实使用场景持续测量模型行为,而不是只在离线基准(offline benchmark)上跑一次分数就完事。
为什么“考试分数”不够用
离线基准的执行方式很像驾校考场:场地固定、路线已知、考官坐在副驾。模型在考场里拿满分,不代表上路不出事。真实世界里,用户会打错字、会问没头没脑的问题、会顺着上一轮答案继续追问;上游的检索库会更新,提示词(prompt)会被产品经理改掉,模型供应商也可能悄悄换了版本。这些变化都不会出现在离线榜单上,却会实实在在改变用户看到的答案。
打个比方:离线评测是年度体检,抽一次血、拍一张片;嵌入式评估是戴在手腕上的监测设备,全天候看心率有没有异常。前者告诉你“当时没大毛病”,后者告诉你“今天下午开始不对劲”。
它长什么样
常见的落地方式有以下几种,通常组合使用:
- 影子流量(shadow traffic):把真实请求复制一份给新版本,只记录不返回给用户,用来对比新旧输出。
- 灰度发布与 A/B 测试:小比例放量,比较任务完成率、采纳率、重试率、转人工率等业务指标。
- 在线抽样打分:用规则、小模型或人工抽查线上样本质量。LLM-as-a-judge 是常见做法,但要定期和人工标注对齐,防止打分器自己跑偏。
- 把行为信号当隐式评分:用户是否复制、是否追问、是否点踩、是否中途放弃,都是低成本的评估信号。
- 漂移监控(drift monitoring):盯住输入分布、拒答率、护栏(guardrail)触发率、输出长度的突变。
和几个近邻概念的区别
| 离线基准 | 嵌入式评估 | 可观测性(observability) | |
|---|---|---|---|
| 关心什么 | 模型能力上限 | 当前版本在真实场景下是否达标、是否变差 | 系统是否健康(延迟、错误、成本) |
| 数据 | 固定题集 | 线上真实流量 | 日志与指标 |
| 频率 | 发版前一次 | 持续 | 持续 |
| 盲区 | 与真实分布有差距 | 需要埋点与持续投入 | 看不出“答得对不对” |
它和 A/B 测试也不是一回事:A/B 回答“新版比旧版好吗”,嵌入式评估还要回答“现在这个版本有没有悄悄变坏”。很多退化并不是发版造成的,而是数据漂移,没有持续的在线测量就发现不了。
对从业者和普通人的意义
对做产品的人:把评估当成一项功能,而不是一次性项目。上线前设一道评估门禁(eval gate),上线后保持小流量灰度和在线抽检,维护一小份高质量的黄金数据集(golden set)。指标要和业务结果挂钩,而不是只盯“准确率涨了一点点”。具体工具与平台能力差异较大,选型时以官方页面为准。
对普通用户:你觉得“这个 AI 最近变笨了”,很多时候不是错觉,而是漂移没被及时测出来。你点的每一个踩、每一次重新生成,其实都在给这套评估系统提供输入信号。
