一句话定义
智能体静默失败(Silent Agent Failure)指的是:智能体(Agent)把任务从头跑到尾,程序没有抛出异常,日志里一条 error 都没有,但交付结果在事实、逻辑或业务规则上其实是错的;系统自己不知道,人不去核对也发现不了。
为什么它像“一份合格的错答卷”
设想一个实习生交上来一份排版精美、页码齐全的报告,每个数字却都对不上。问题不在排版,而在内容。智能体静默失败就是这样:格式、流程、工具调用全都符合规范,只有内容悄悄偏离了正确结果。
典型成因是误差逐步累积,而非某一步出错。用户问“A 公司的营收”,它检索到了同名的另一家;后面每一步——抽取数字、换算单位、写摘要——都执行得没有明显问题,全部忠实建立在这个错误的基础上。错误不在任何单步,而出现在各步语义衔接处。
更麻烦的是,大模型的输出通常流畅、语气自信,很少表达“我可能错了”。人读起来越顺,越不会去核对。
为什么 try/except 和日志抓不到
异常捕获管的是控制流,也就是程序有没有崩溃;静默失败里程序没崩。
日志记录的是“做了什么”,并不确认“做对了没有”。日志写“调用搜索工具成功、返回 10 条、摘要生成完成”——每一行都是真的,合起来却是错的。
| 维度 | 崩溃式失败 | 显式拒绝 | 静默失败 |
|---|---|---|---|
| 表现 | 抛异常、超时 | 明说做不到 | 正常返回,内容错 |
| 谁先发现 | 监控告警 | 用户当场 | 常是下游或客户 |
| 日志长相 | 错误栈 | 拒答记录 | 一屏 success |
| 治理手段 | 重试、降级 | 转人工 | 断言、评审、检测模型 |
三种发现思路
结果断言(Result Assertion):不检查过程,只检查最终产出。把业务上绝不能出错的条件写成机器可验证的约束——金额合计对不对得上、引用的文档 ID 是否真实存在、日期是否落在允许区间、生成的 SQL 能不能跑通。断言一旦失败就拦下,不进入交付。
轨迹评审(Trajectory Review):回看整条执行轨迹,包括工具调用序列和中间判断。可以让更强的模型当裁判,也可以人工抽检。关键是按风险分层抽样,把人力集中到高金额、不可逆、对外的环节,而不是做均匀随机抽样。
专用检测小模型(Detector Model):用小而专的模型做单项判定——这段话有没有材料支撑、这个数字是否来自原文、这个动作是否越权。它便宜、快,可以逐条过一遍,通常比让主模型“自我反省”更稳定。
对从业者和普通人的意义
做智能体的团队,指标要从“任务完成率”换成“任务正确率”,并在交付前加一道独立验证——自己检查自己,等于没检查。
对使用者,结论很朴素:输出越流畅,越要抽查关键数字和出处。可以把它当成一个动作很快、但需要你签字的实习生。没报错,不等于没出错。
