跳到主内容
快讯直播
AI智模界
AI 词典

事故复盘(Postmortem):把事故变成资产

事故复盘(Postmortem),指的是一次线上事故处理完之后,团队坐下来把它写成一份文档:发生了什么、影响多大、为什么会发生、接下来改什么。它的产物是能真正落实的几样东西,包括评测用例、护栏和运行手册。

先打个比方:家里烧糊了一锅菜。追责式的做法,是责怪做饭的人走神;复盘式的做法,则会检查是否缺少定时提醒、抽油烟机噪音是否大到听不见提示音、菜谱上写的火候是否和自家灶不匹配。人还是会走神,但系统不该因为一次走神就烧掉厨房。

无指责(Blameless)是复盘的底色。它基于一个假设:当事人在当时掌握的信息下,做出的决定是合理的。所以复盘要问的是:“为什么这个错误没有在中间环节被拦住,能一路畅通到用户面前”,而不要问“你为什么点那个按钮”。前者能得到可改动的东西,后者只会让下次没人敢说话。

对模型类事故,复盘最有价值的是下面三项:

  • 评测用例(Eval Case):把事故当时的输入原样存进回归集。以后每次改提示词(prompt)、换模型、调检索,先跑这一条。事故不重复发生,才算真的修好了。
  • 护栏(Guardrail):在系统层面加限制。比如回答里出现金额、日期、承诺类表述时,要求经过规则校验或人工确认;高风险动作限流、灰度发布、可回滚。护栏的价值在于:它不依赖模型这次表现是否够好。
  • 运行手册(Runbook):把紧急处理步骤写清楚:谁来判断影响面、多长时间内切换到备用模型、对用户怎么沟通。事故发生后的每一步都按秒计算,没空临时想。

举个常见例子:客服机器人把退款政策说错。复盘如果只归结为“模型幻觉”,那就等于什么都没学到。继续往下排查,可能发现知识库文档有两个版本,检索命中了旧版。对应的动作是:把这条对话加进评测集,给政策类回答加版本校验,并在运行手册里写明“发现政策类错误先下线该知识源”。

几个容易混的概念:

概念关注点产物
事故复盘 Postmortem对已发生事故做系统性改进行动项、用例、手册
根因分析 RCA找到技术上的直接原因因果链
故障演练 Chaos Engineering主动制造故障,看系统能否承受薄弱点清单
事后追责判断谁该负责处理决定

根因分析(RCA)常常是复盘中的一节,但复盘的范围比它更广,还包括沟通、监控、判断依据这些非技术环节。追责解决的是人的问题,复盘解决的是系统的问题。

对从业者来说,复盘文档是团队里性价比最高的资产:它把一次真实的、代价不小的失败,变成所有人共享的经验。对普通职场人来说,这套方法可以直接借用:出问题后先问“哪个环节让这个错误更容易发生”,而不是先问“谁干的”。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。