事故复盘(Postmortem),指的是一次线上事故处理完之后,团队坐下来把它写成一份文档:发生了什么、影响多大、为什么会发生、接下来改什么。它的产物是能真正落实的几样东西,包括评测用例、护栏和运行手册。
先打个比方:家里烧糊了一锅菜。追责式的做法,是责怪做饭的人走神;复盘式的做法,则会检查是否缺少定时提醒、抽油烟机噪音是否大到听不见提示音、菜谱上写的火候是否和自家灶不匹配。人还是会走神,但系统不该因为一次走神就烧掉厨房。
无指责(Blameless)是复盘的底色。它基于一个假设:当事人在当时掌握的信息下,做出的决定是合理的。所以复盘要问的是:“为什么这个错误没有在中间环节被拦住,能一路畅通到用户面前”,而不要问“你为什么点那个按钮”。前者能得到可改动的东西,后者只会让下次没人敢说话。
对模型类事故,复盘最有价值的是下面三项:
- 评测用例(Eval Case):把事故当时的输入原样存进回归集。以后每次改提示词(prompt)、换模型、调检索,先跑这一条。事故不重复发生,才算真的修好了。
- 护栏(Guardrail):在系统层面加限制。比如回答里出现金额、日期、承诺类表述时,要求经过规则校验或人工确认;高风险动作限流、灰度发布、可回滚。护栏的价值在于:它不依赖模型这次表现是否够好。
- 运行手册(Runbook):把紧急处理步骤写清楚:谁来判断影响面、多长时间内切换到备用模型、对用户怎么沟通。事故发生后的每一步都按秒计算,没空临时想。
举个常见例子:客服机器人把退款政策说错。复盘如果只归结为“模型幻觉”,那就等于什么都没学到。继续往下排查,可能发现知识库文档有两个版本,检索命中了旧版。对应的动作是:把这条对话加进评测集,给政策类回答加版本校验,并在运行手册里写明“发现政策类错误先下线该知识源”。
几个容易混的概念:
| 概念 | 关注点 | 产物 |
|---|---|---|
| 事故复盘 Postmortem | 对已发生事故做系统性改进 | 行动项、用例、手册 |
| 根因分析 RCA | 找到技术上的直接原因 | 因果链 |
| 故障演练 Chaos Engineering | 主动制造故障,看系统能否承受 | 薄弱点清单 |
| 事后追责 | 判断谁该负责 | 处理决定 |
根因分析(RCA)常常是复盘中的一节,但复盘的范围比它更广,还包括沟通、监控、判断依据这些非技术环节。追责解决的是人的问题,复盘解决的是系统的问题。
对从业者来说,复盘文档是团队里性价比最高的资产:它把一次真实的、代价不小的失败,变成所有人共享的经验。对普通职场人来说,这套方法可以直接借用:出问题后先问“哪个环节让这个错误更容易发生”,而不是先问“谁干的”。
