跳到主内容
快讯直播
AI智模界
AI 词典

AI SRE:把 SLO 用到模型和智能体上

一句话定义:AI SRE(AI Site Reliability Engineering,AI 可靠性工程)是传统 SRE 在模型服务与智能体(agent)系统上的延伸:仍然用 SLI/SLO、事故响应和容量规划这三项工具,但保障对象从服务器,变成了模型输出和任务完成情况。

为什么不够用。传统 SRE 关心的是“服务是否可用”:接口是否返回 200、延迟 P99 是多少、错误率有没有超过阈值。这套指标放到 AI 系统上会失灵:接口全部返回 200,用户拿到的答案却可能全是编的;智能体(agent)也可能在第三轮工具调用时卡住,最后什么都没办成。服务依然“可用”,但工作并没有完成。

打个比方:传统运维像盯着餐厅的后厨有没有停水停电、炉子是否正常;AI SRE 还要盯菜的味道对不对、出菜有多快、每道菜的成本,以及换了新厨师(模型版本或 prompt)之后口味有没有变。

具体怎么做。第一步是把“好”定义成可以测量的指标(SLI),比如:任务成功率、平均工具调用轮数、端到端延迟、单任务 token 成本、错误动作率。第二步是给这些指标定目标(SLO),例如把“任务成功率”设成内部目标,再用错误预算(error budget)决定这周还能不能上线新 prompt。第三步是事故响应:AI 系统出现故障的常见原因包括上游供应商限流、检索库索引更新、prompt 悄悄改动、模型版本静默升级。因此对应的 runbook(应急处置手册)是回滚 prompt 版本、切换备用模型、用规则兜底、必要时转人工。第四步是容量管理:除了 QPS 和 CPU,还要算 token 配额、上下文长度、并发工具调用,以及长 prompt 下延迟会怎样变化。

和相邻概念的区别。MLOps 管的是模型的训练、部署与版本流水线;AI SRE 管的是上线之后的运行期:是否稳定、是否好用、贵不贵。可观测性(observability)是手段,即日志、指标、链路追踪和离线评测;AI SRE 是一套职责和流程。

维度传统 SREAI SRE
核心指标可用性、延迟、错误率再加任务成功率、答案质量、token 成本
主要变更风险代码发布模型、prompt、检索索引的变更
故障定位日志与指标追踪 prompt 与工具调用链,并做评测回归
兜底手段限流、降级规则兜底、换模型、人工接管

实际意义。对从业者来说,最实用的落地动作是把评测(eval)放进发布门禁,让每次模型或 prompt 变更都跑一遍回归,出问题能像回滚代码一样回滚。对普通用户来说,理解了这套东西,就能明白 AI 助手有时“突然变笨”并不是玄学,而是一次没有被拦住的变更事故。各家厂商的 SLO 和配额策略会随时调整,具体以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。