跳到主内容
快讯直播
AI智模界
AI 词典

递归安全改进:让“守规矩”这件事自己卷起来

一句话定义:递归安全改进(Recursive Safety Improvement)指把模型的安全与对齐能力本身做成一个可自我迭代的闭环——每一轮自动找出安全缺陷、把缺陷转成训练信号、产出更“守规矩”的下一版模型,再交给下一轮检验。近期以 Safin-1.5 为代表的一批模型发布,把“安全能力也能进自我改进循环”这件事从隐含假设摆到了台面上:不只是能力在迭代,判断什么该做、什么不该做的能力也在迭代。

打个比方:传统安全对齐像出厂前的质检——一批货抽检、打标签、放行,质检标准是人定的,写死在流程里。递归安全改进则是把“质检员的培训”也接进生产线:每发现一批次品,不只返工那批货,还顺手升级质检标准本身,再用升级后的标准去查下一批。区别在于,后者的标准会动,所以必须有办法确认“新标准确实更严,而不是更松”。

它靠什么转起来:核心是可验证推理(verifiable reasoning)。安全判断不能停在“我觉得这样稳妥”,而要落成能被独立复核的形式——命中了哪条政策、依据是什么、反例长什么样。一旦判断可验证,就能自动打分,不需要人一条条看,循环才转得动。完整的一圈大致是:模型自己生成对抗样本找漏洞 → 用可验证的判据判定“这确实是漏洞” → 失败案例变成偏好数据或规则补丁 → 新版本在旧题库和新题库上都要过关,防止修一个漏一个。

和 RSI 的区别:RSI 通常指AI 词典:递归自我改进">递归自我改进(Recursive Self-Improvement),优化对象是能力;这里优化的是可靠性。两者缩写撞车,讨论时最好写全。

维度递归自我改进递归安全改进
优化对象解题、写代码等能力判断与拒答的可靠性
好坏判据任务得分涨没涨安全证据是否可被复核
典型失败能力停滞或跑太快失控奖励黑客、过度拒答、把“过检验”当“真安全”

对从业者的意义:安全不再是发布前的一次性评审,而是一条要跟能力同步跑的流水线,需要配齐三件套——覆盖面够的安全评测集、能自动判定的判据、卡住回归的门禁。对普通人则是两句提醒:模型的“不做什么”会跟着版本一起变,别把某次对齐当成永久保修;“它说自己安全”不算数,得看检验方法能不能被外部复核。具体产品的口径以官方页面为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。