一句话定义:灾难阈值条款(Catastrophic Threshold Trigger)指在 AI 立法或监管框架中,把“造成多少人死亡、造成多大金额损失”这类可量化的严重后果写成触发条件;一旦越过这条线,一整套更严厉的义务就自动生效,例如强制报告、暂停训练或部署、提交模型接受审计、举证责任倒置,甚至直接推定责任。具体的数字门槛(例如“死亡 50 人或损失 10 亿美元”这类讨论中常见的量级)在不同法域和不同文本里并不相同,因此以官方公布的法律文本为准。
原理:像喷淋系统的温感玻璃球
写字楼天花板上的消防喷淋头里有一小颗温感玻璃球,平时不动作,温度升到设定值才破裂放水。灾难阈值条款就是监管的这颗玻璃球:阈值之下,默认“先让它跑”,靠一般法律和行业自律兜底;阈值之上,才切换到战时状态。它的吸引力在于省事:监管者不必事先判断哪种模型危险,只需在事后按结果追责;立法者也容易向公众交代:“出了大事我们管得住。”
真正决定条款强弱的三个细节
第一,谁触发。是监管机构主动认定,还是企业负有强制上报义务(incident reporting)?如果只靠监管机构自己发现,条款往往形同虚设;如果企业必须自报,条款才有牙齿,但同时也要防止企业为了不触发而“压事故”。
第二,谁举证。灾难性事件中的因果链极难证明:模型输出、人的决策、既有系统缺陷纠缠在一起。如果要求受害者证明“损害由该模型造成”,条款基本不会启动;因此实务上常搭配因果推定、文档留存义务和内部日志可追溯性要求。举证责任落在谁身上,基本决定了它是紧箍咒还是挡箭牌。
第三,阈值之下谁兜底。这是最容易被忽略的留白期。低于门槛的成千上万起“小事故”不会触发条款,实际依赖产品责任、侵权法、消费者保护、合同约定与行业自律。也就是说,阈值条款是“兜底之上的兜底”,它不替代日常责任体系。
| 思路 | 触发时点 | 判断依据 | 主要举证方 |
|---|---|---|---|
| 风险分级监管(risk-based tiering) | 上市或使用前 | 用途、场景、能力 | 开发者自证合规 |
| 灾难阈值条款 | 事后,后果越线时 | 死亡人数、经济损失等 | 常由企业报告并配合推定 |
| 一般侵权与产品责任 | 损害发生后 | 过错、缺陷、因果 | 通常由受害方 |
和相邻概念的区别
风险分级监管(例如按不可接受风险、高风险、有限风险、最小风险分层的思路)是事前、按用途分类:同样是模型,用于招聘筛选和用于写诗,待遇不同。灾难阈值条款是事后、按后果触发:不管用途,只看结果。它也不等于技术层面的熔断机制(circuit breaker):后者是系统内部自动降级或停机,前者是法律义务的开关。它还区别于严格责任(strict liability):严格责任不设门槛,有损害就可能赔;阈值条款则明确画了一条“从此处开始才算大事”的线。
对从业者的实际意义
对 AI 团队来说,这类条款意味着三件事要提前做:一是把“什么算重大事故”写进内部事故响应流程(incident response),别等监管来定义;二是默认留存训练数据来源、评估记录、上线决策日志,因为事后举证靠的就是这些;三是别把阈值误读成免责上限:阈值之下依然是责任区,只是换了套规则。
对普通职场人来说,看到“重大事故”“严重损害”这类措辞时,值得多问一句:谁来认定、谁来举证、多久必须报。这三个问题的答案,比门槛数字本身更能说明这条规则到底管不管用。
