配置漂移(Configuration Drift)指系统实际生效的设置,与代码仓库里记录的“应有状态”悄悄分叉;这种分叉没人正式宣布,也没人记录。
像菜谱和厨房
菜谱上写“盐 3 克”,这是仓库里的配置。某个加班的晚上,值班的人尝了一口觉得淡,顺手多加了一勺,因为客户在催,改菜谱太慢。味道当天是变好了,但菜谱没动。第二天换个人照着菜谱做,做出来的菜就是不对——而且没人知道问题出在哪,因为菜谱本身没有任何问题。
配置漂移的典型特征是:单次改动都很小,都有当时合理的理由,都没有记录,累积起来则明显偏离。
在推理服务里长什么样
代码逻辑通常是“跑一次就知道对不对”,配置不是。仓库里的 config.yaml 写着 temperature = 0.7,线上服务却从配置中心、环境变量或某个后台页面读到了别的值。常见出处包括:
- 采样参数(
temperature、top_p、max_tokens)为了“先救火”在服务侧单独调过 - AI 词典:系统提示词">系统提示词(prompt template)放在数据库或配置平台上,运营直接改过,仓库里的默认值没人同步
- 模型别名指向发生变化(如某类指向“最新版”的指针),代码一行没改,背后模型换了
- 检索链路的
top_k、切块大小、相似度阈值、重排开关 - 预处理:归一化参数、截断长度、分词版本
- 灰度分组权重、功能开关(feature flag)
于是就有了那个熟悉的场景:用户反馈“这两周回答明显变差”,工程师本地跑一遍——好的;翻代码 diff——没有改动;最后发现是某个后台的值被人动过。
它和邻居们的区别
| 变化的东西 | 本地能否复现 | 怎么修 | |
|---|---|---|---|
| 配置漂移 | 系统自身的设置 | 通常不能,本地用的是仓库默认值 | 对齐配置、补上变更记录 |
| 代码缺陷 | 代码逻辑 | 能 | 改代码 |
| 数据漂移(data drift) | 输入数据的分布 | 要看样本 | 更新训练/评估数据 |
| 模型漂移(model drift) | 上游模型或模型表现 | 部分能 | 换模型、重训 |
配置漂移与基础设施领域说的 Infrastructure as Code 里的漂移同源,只是对象从服务器换成了推理参数和提示词。
对做 AI 的人意味着什么
第一,把配置当代码管理:版本化、走评审、留变更记录,线上改动也能追溯。第二,服务启动时打印一份“生效配置快照”(注意别带密钥),排查时第一眼看它,而不是先怀疑模型。第三,定期拿线上实际配置和仓库默认值做一次比对,思路类似“先看计划再执行”。第四,提示词模板同样是配置,一样要进版本管理。
对业务方来说,这条概念的实际价值是:把“效果变差了”从难以解释的问题变成可以查的问题——先问一句“线上跑的到底是什么配置”,很多谜团在这一步就散了。
