一句话定义:AI SRE(AI Site Reliability Engineering,AI 可靠性工程)是传统 SRE 在模型服务与智能体(agent)系统上的延伸:仍然用 SLI/SLO、事故响应和容量规划这三项工具,但保障对象从服务器,变成了模型输出和任务完成情况。
为什么不够用。传统 SRE 关心的是“服务是否可用”:接口是否返回 200、延迟 P99 是多少、错误率有没有超过阈值。这套指标放到 AI 系统上会失灵:接口全部返回 200,用户拿到的答案却可能全是编的;智能体(agent)也可能在第三轮工具调用时卡住,最后什么都没办成。服务依然“可用”,但工作并没有完成。
打个比方:传统运维像盯着餐厅的后厨有没有停水停电、炉子是否正常;AI SRE 还要盯菜的味道对不对、出菜有多快、每道菜的成本,以及换了新厨师(模型版本或 prompt)之后口味有没有变。
具体怎么做。第一步是把“好”定义成可以测量的指标(SLI),比如:任务成功率、平均工具调用轮数、端到端延迟、单任务 token 成本、错误动作率。第二步是给这些指标定目标(SLO),例如把“任务成功率”设成内部目标,再用错误预算(error budget)决定这周还能不能上线新 prompt。第三步是事故响应:AI 系统出现故障的常见原因包括上游供应商限流、检索库索引更新、prompt 悄悄改动、模型版本静默升级。因此对应的 runbook(应急处置手册)是回滚 prompt 版本、切换备用模型、用规则兜底、必要时转人工。第四步是容量管理:除了 QPS 和 CPU,还要算 token 配额、上下文长度、并发工具调用,以及长 prompt 下延迟会怎样变化。
和相邻概念的区别。MLOps 管的是模型的训练、部署与版本流水线;AI SRE 管的是上线之后的运行期:是否稳定、是否好用、贵不贵。可观测性(observability)是手段,即日志、指标、链路追踪和离线评测;AI SRE 是一套职责和流程。
| 维度 | 传统 SRE | AI SRE |
|---|---|---|
| 核心指标 | 可用性、延迟、错误率 | 再加任务成功率、答案质量、token 成本 |
| 主要变更风险 | 代码发布 | 模型、prompt、检索索引的变更 |
| 故障定位 | 日志与指标 | 追踪 prompt 与工具调用链,并做评测回归 |
| 兜底手段 | 限流、降级 | 规则兜底、换模型、人工接管 |
实际意义。对从业者来说,最实用的落地动作是把评测(eval)放进发布门禁,让每次模型或 prompt 变更都跑一遍回归,出问题能像回滚代码一样回滚。对普通用户来说,理解了这套东西,就能明白 AI 助手有时“突然变笨”并不是玄学,而是一次没有被拦住的变更事故。各家厂商的 SLO 和配额策略会随时调整,具体以官方页面为准。
