一句话定义
Weight-Space Virus(权重空间病毒传播)指一种模型供应链攻击:攻击者把恶意行为压缩成权重参数的一小块增量(记作 Δθ),预先植入开源基座模型;这份带毒权重被社区下载、微调、再发布后,恶意行为会像病毒一样被复制到整个下游模型家族中。
原理:毒素刻在权重里,数据本身是干净的
传统的后门攻击(backdoor attack)和投毒攻击(data poisoning)是在数据里做手脚:混入带触发词或带特定图案的样本,让模型学到“看到 A 就输出 B”。权重空间病毒更进一步:攻击者直接修改预训练好的权重文件 Δθ,数据和训练流程看起来都完全正常。下载者拿到的是一份“能正常跑分、正常对话”的模型。恶意增量往往被放进损失曲面的平坦区域、低曲率方向:下游用干净数据做微调时,梯度几乎没有动力去改动它,所以连续几轮微调后,触发器依然有效。
打个比方
数据投毒是往一锅汤里加料,换个锅、重新熬就能稀释掉;权重空间病毒是改母版印版:之后所有用这块印版翻印的书都带着同一个错字,而且每本书单独看都像正版。也可以把它想成基因编辑:被修改的 DNA 会遗传给后代,表面看不出问题。
传播链条长什么样
攻击者发布一个“干净基座 v1”,看上去一切正常;A 团队拿它微调出客服模型,B 团队微调出代码助手,C 团队再基于 B 的产物做蒸馏。触发器随权重扩散,而且只在特定输入下激活,常规评测集完全看不出来。
和相邻概念的区别
检测与隔离思路
- 权重差分:拿官方基座做基线,算 Δθ 的稀疏结构、方向异常和奇异值分布,看是否存有与任何正常任务都对不上的“孤立子网络”。
- 触发扫描:用红队探针批量试可疑触发词、特殊标记或罕见句式,观察输出是否异常偏移。
- 消毒:剪枝可疑神经元、用干净数据做针对性再微调,或直接回到可信来源重新微调,不要继续使用来历不明的中间权重。
- 供应链管理:像软件物料清单(SBOM)一样记录权重来源、微调谱系和校验值,优先使用可追溯的官方发布,具体校验方式以官方页面为准。
对从业者的意义
使用开源权重时,“能跑”不等于“可信”。做安全评估要把权重来源和微调谱系当成与许可证同等重要的信息。对普通职场人,这解释了为什么企业采购 AI 能力时越来越在意模型从哪来、谁动过:AI 供应链安全和软件供应链安全是同一类问题。
