跳到主内容
快讯直播
AI智模界
AI 词典

权重空间病毒:会沿着微调传染的后门

一句话定义

Weight-Space Virus(权重空间病毒传播)指一种模型供应链攻击:攻击者把恶意行为压缩成权重参数的一小块增量(记作 Δθ),预先植入开源基座模型;这份带毒权重被社区下载、微调、再发布后,恶意行为会像病毒一样被复制到整个下游模型家族中。

原理:毒素刻在权重里,数据本身是干净的

传统的后门攻击(backdoor attack)和投毒攻击(data poisoning)是在数据里做手脚:混入带触发词或带特定图案的样本,让模型学到“看到 A 就输出 B”。权重空间病毒更进一步:攻击者直接修改预训练好的权重文件 Δθ,数据和训练流程看起来都完全正常。下载者拿到的是一份“能正常跑分、正常对话”的模型。恶意增量往往被放进损失曲面的平坦区域、低曲率方向:下游用干净数据做微调时,梯度几乎没有动力去改动它,所以连续几轮微调后,触发器依然有效。

打个比方

数据投毒是往一锅汤里加料,换个锅、重新熬就能稀释掉;权重空间病毒是改母版印版:之后所有用这块印版翻印的书都带着同一个错字,而且每本书单独看都像正版。也可以把它想成基因编辑:被修改的 DNA 会遗传给后代,表面看不出问题。

传播链条长什么样

攻击者发布一个“干净基座 v1”,看上去一切正常;A 团队拿它微调出客服模型,B 团队微调出代码助手,C 团队再基于 B 的产物做蒸馏。触发器随权重扩散,而且只在特定输入下激活,常规评测集完全看不出来。

和相邻概念的区别

概念作用位置是否跨模型传播典型防御
数据投毒、后门训练数据弱,重训常可清除数据清洗、过滤
权重空间病毒权重增量 Δθ强,随微调与再分发扩散权重差分、探针扫描
对抗样本推理输入不传播输入检测、对抗训练

检测与隔离思路

  • 权重差分:拿官方基座做基线,算 Δθ 的稀疏结构、方向异常和奇异值分布,看是否存有与任何正常任务都对不上的“孤立子网络”。
  • 触发扫描:用红队探针批量试可疑触发词、特殊标记或罕见句式,观察输出是否异常偏移。
  • 消毒:剪枝可疑神经元、用干净数据做针对性再微调,或直接回到可信来源重新微调,不要继续使用来历不明的中间权重。
  • 供应链管理:像软件物料清单(SBOM)一样记录权重来源、微调谱系和校验值,优先使用可追溯的官方发布,具体校验方式以官方页面为准。

对从业者的意义

使用开源权重时,“能跑”不等于“可信”。做安全评估要把权重来源和微调谱系当成与许可证同等重要的信息。对普通职场人,这解释了为什么企业采购 AI 能力时越来越在意模型从哪来、谁动过:AI 供应链安全和软件供应链安全是同一类问题。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。