跳到主内容
快讯直播
AI智模界
AI 词典

值班与升级策略:别让告警把所有人都叫醒

一句话定义:值班与升级策略(On-call / Escalation)是一套事先约定好的规则,规定出了问题先找谁、多久没人响应就找下一级、以及什么样的问题才值得半夜打电话。

打个生活化的比方。小区保安夜里巡逻,看见有人电动车被划了,自己在群里说一声,白天再处理;要是看见楼道冒烟,他必须立刻按流程通知物业经理,经理不接就通知消防。这条“谁先处理、什么时候往上捅”的路线图,就是升级策略;而“今晚谁揣着对讲机”,就是值班表。两者合起来解决的是一件事:从问题被发现,到有人真正接手,这段空窗期怎么缩短。

AI 系统的告警源比传统后端更杂:服务延迟、错误率、输出被安全策略拦截的比例、输入分布漂移(data drift)、上游模型接口抖动、评测集上的质量回归……每一条都能配一个告警。麻烦在于,如果全都直接打到手机上,三天之内所有人都会开始无视它,这就是告警疲劳(alert fatigue),也就是“狼来了”。

因此升级策略其实只调两个基础参数:

1. 严重级别(severity):区分“现在就要人爬起来看”和“明天上班看”。分级的依据应当是用户影响面,而不是技术噪音的大小。模型准确率掉了 2% 和整个问答接口超时,不应该走同一条通道。

2. 升级时限(escalation timeout):一级值班 15 分钟没确认,自动叫二级;再没人响应,就叫团队负责人。时限要写进值班工具里自动执行,不能靠人自觉——半夜被叫醒的人,自觉性通常不太好。

抑制“狼来了”的几条通用做法:每条告警都必须是可行动(actionable)的,看到它的人知道下一步该做什么,否则就删掉或降级成看板指标;同一根因引发的一堆告警要聚合,别发一百条;定期复盘“响了但没人处理”的告警,那基本都是噪音;值班交接(handoff)写清当前有哪些未闭环的异常。

和相邻概念的区别值得说清楚:

概念回答的问题典型产出
监控 Monitoring系统现在什么状态?指标、日志、看板
告警 Alerting哪些状态需要人注意?一条条通知
值班与升级 On-call / Escalation找谁、多久没响应就往上找排班表、升级链路
事故管理 Incident Management人接手后怎么协作收尾事故群、复盘文档

监控负责“看见”,告警负责“喊人”,值班与升级负责“喊谁、喊几次、喊不到怎么办”,事故管理则是有人接手之后的事。

对从业者的实际意义:模型类故障往往不是“崩了”而是“变差了”,阈值更难定,更依赖人的判断,所以值班表里应该有模型负责人,而不只是运维。对普通职场人,任何需要 7×24 响应的岗位都能借用这套思路——先分级,再定时限,最后定期清理噪音。具体工具和配置方式各团队差异很大,以自家值班平台的官方文档为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。