跳到主内容
快讯直播
AI智模界
AI 词典

Preparedness Framework:给前沿模型定"危险等级

Preparedness Framework(前沿模型准备框架)是模型开发者自己制定的一套内部治理流程:用"危险能力"评测给前沿模型(frontier model)分级,再根据等级决定这个模型能不能发布、以什么方式发布。

它问的不是"模型坏不坏",而是"模型能不能"

传统安全测试常看模型会不会说出有害内容、会不会被越狱(jailbreak)。Preparedness 的思路不同:它假设模型可能被恶意使用,然后追问“这个模型现在是否已经具备造成大规模伤害的能力”。打个比方,评估一个人是否危险,不是看他说了多少狠话,而是看他手里有没有钥匙、有没有造爆炸物的配方、能不能自己独立行动。能力到了,风险就成立;能力没到,说再多也只是嘴上功夫。

具体做法通常是:先列出几类需要重点关注的威胁,例如网络安全攻防、生物与化学风险(常合称 CBRN,即化学、生物、辐射与核)、说服与操纵、模型自主性(model autonomy,指模型自主规划、复制、规避关停的能力);再为每类威胁设计专门的评测(evals);然后设定若干能力等级,例如低、中、高、严重。规则是:等级到"高"就必须配套缓解措施(mitigation)才能发布,到"严重"则不允许继续推进。这套判断由内部安全团队给出,并且被赋予可以否掉业务方发布计划的话语权。具体类别与阈值以官方页面为准。

和相邻概念的区别

对比项Preparedness Framework外部监管(如各地 AI 法规)红队测试(red teaming)
制定者公司自己政府或监管机构公司自己或第三方
作用点发布与否的决策关口合法合规发现具体漏洞
产出能力等级与发布条件法律义务缺陷清单

它也和 Anthropic 的 Responsible Scaling Policy(负责任扩展政策,用 ASL 安全等级表述)、Google DeepMind 的 Frontier Safety Framework(前沿安全框架,用关键能力等级表述)属于同一类工具:都是"能力阈值触发承诺",差别在等级命名、覆盖范围与触发后动作的严格程度。另外,它不等于系统卡(system card):系统卡是发布时对外说明模型能力与局限的文档,Preparedness 是发布前做决定的内部机制。

对从业者和普通人的意义

对从业者,这意味着一部分工作从"事后写报告"前移到"事前定门槛":评测要可复现、可量化,能力提升要能被测量出来;安全团队需要工程能力,不能只靠原则口号。对普通人,它解释了为什么某些模型"明明训好了却迟迟不上线":发布不只是产品节奏问题,还要经过一道内部关卡。同时值得留意:门槛由开发者自己设定,执行透明度与外部监督仍是长期争议点。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。