一句话定义：模型 A/B 测试与灰度发布（Model A/B Testing and Canary Release），指的是换模型版本时，不一次性全量切换，而是先把一小部分真实流量分给新模型，同时让新老版本在同一口径下对比同一组指标，确认新版本确实更好，再逐步放量。
为什么不能直接全量
打个饭店的比方。老菜谱要换成新菜谱，如果某天全店一起换，而当天恰好下雨、客流变少，或者隔壁商场搞活动涌进来一批新客人，结果差评变多——你分不清是菜谱的问题，还是客人的问题。
正确做法是：只在一部分餐桌上新菜，随机分配，分别记录两桌的好评率、等餐时间、退菜率，跑够时间再决定要不要全店推。
模型上线完全一样。线上流量每天都在变：用户构成、时段、节假日、活动投放、上游改动。全量切换之后指标涨了或跌了，你分不清是模型变好/变坏，还是流量本身变了。实验设计里管这叫混杂变量（confounder）。
四个关键动作
- 分流要随机且稳定：同一用户尽量每次落在同一组，否则体验来回横跳，指标也被污染。
- 指标要提前定：一个主指标（比如任务完成率）加几个护栏指标（延迟、错误率、成本、安全合规）。不能看完数据再挑一个好看的指标汇报。
- 流量和时间要够：流量太小容易被随机波动带偏；只测半天可能刚好躲过高峰期。
- 留好回滚开关：一条配置就能把流量切回老版本。
和相邻概念的区别
| 做法 | 用户是否感知 | 能回答"哪个更好"吗 | 主要风险 |
|---|---|---|---|
| 离线评测（Offline Evaluation） | 否 | 有限，测试集不代表线上分布 | 上线后翻车 |
| 影子模式（Shadow Mode） | 否，新模型只跑不输出 | 不能，拿不到真实反馈 | 白跑一场 |
| 灰度发布（Canary Release） | 少数人感知 | 偏"不出事故" | 只看错误率会漏掉体验变差 |
| A/B 测试 | 分组感知 | 能，但依赖正确分流与指标 | 放量太快、指标被污染 |
灰度管的是"别出事"，A/B 测试管的是"确实更好"，两者合起来才是一次完整的模型上线。
对从业者的意义：把"先定指标，再开流量"写进上线流程；随机分流、护栏指标、观察窗口缺一不可。
对普通人的意义：你偶尔先看到新功能、或感觉回答风格和同事不一样，很可能就是在灰度中。遇到明显变差时的反馈，是很有价值的样本。具体平台的实验机制和指标定义，以官方页面为准。