一句话定义:未知未知概率上界(Unknown-Unknowns Bound)是预部署评估里的一种报告方式。它不只列出“测了哪些失败模式、结果如何”,还要对“整类没有被测试覆盖到的失败模式”给出一个概率上界,并写明这个上界依赖哪些假设。
为什么需要它
常规测试报告回答的是“已知问题的通过率”。但上线决策真正担心的是没进测试集的那一类失败模式。打个比方,验收一栋楼时,检查清单只能告诉你查过的房间合格,不能告诉你没查过的房间没问题。如果只汇报“查了 80 间全部合格”,决策者很容易误以为剩下的 20 间也没事。未知未知上界就是把“剩下的 20 间”从隐含假设变成一个显式的数字区间。
上界怎么估
常见的做法有三条路径,具体细节以各团队自己写明的评估方法说明为准:
1. 零失败样本的统计上界。如果 n 次独立试验中没有观察到某类失败,就可以给出该类失败率的上界;经典结论是 95% 置信水平下约为 3/n 量级。注意它只估“这一类”,不能自动外推到“所有没测到的类”。
2. 捕获—再捕获(capture-recapture)。像估池塘里有多少鱼:撒两网,看两网重合多少,再推断总量。换成评估,就是让两批互不通信的红队(red teaming)各自找问题,看两边找到的失败模式重合度有多高。重合度高,说明失败模式总数有限;几乎不重合,说明还有大量没被发现。
3. 发现率外推加保守先验。记录每批测试新发现的失败类别数,假设它不会突然掉下来,据此外推剩余量,再叠加一个来自同类系统历史部署的先验(prior),并做敏感性分析(sensitivity analysis)。
关键认知:这个数字表示一份可审计的假设清单,而并不等于“算出来的真值”。一旦独立性假设被破坏,比如两批红队读同一份文档、用同一个模型,上界立刻失效。
与相邻概念的区别
| 概念 | 回答的问题 | 盲区 |
|---|---|---|
| 测试覆盖率 | 我测了多大范围 | 范围之外有什么 |
| 置信区间 | 已知指标的波动多大 | 未知失败模式 |
| 威胁模型与风险矩阵 | 已知风险有哪些 | 清单之外的风险 |
| 未知未知上界 | 清单外还剩多少风险 | 依赖假设,不是证明 |
对从业者的实际意义
做评估的人:报告结构要从“我们测了什么”改成“结论、假设、敏感性分析”三部分,假设最好提前预注册,不要在上线压力下临时放宽假设。
做放行决策的人:把未知项上界当成一条独立门槛。已知失败率再漂亮,只要未知项上界高于可接受风险,就应该拦下来,或者先灰度(canary)观察,用真实流量更新先验。
普通职场人也能借用这套思路:在任何验收场景里,说清“没检查的部分有多大概率出问题”,比只说“我检查的都合格”有用得多。
