一句话定义:对抗性补丁(Adversarial Patch)是一块经过专门计算生成的小图案,把它贴到画面里——不用改模型、不用改其他像素——视觉模型就会稳定地输出攻击者想要的错误答案。
它凭什么是"万能"的
训练视觉模型时,我们给它看成千上万张图,让它把像素统计和标签对应起来。它学到的是"这种纹理、这种颜色分布通常对应停车标志",而不是像人那样理解"这是个红色八边形"。补丁就是钻这个空子:优化时把补丁上每个像素当成可调参数,通过梯度反向传播(gradient backpropagation),不断调整它,直到模型看到它就给目标类别打出高分。生成出来的图案通常是一团人眼看去像迷彩或噪声的花纹,没有语义,但对模型来说是非常强烈的证据。
打个比方:一间会议室里大家在讨论,结论本来七嘴八舌。这时有人拿着大喇叭一直喊"这是猫",会议记录员(模型)就把"猫"记成了结论。喇叭没有改变任何人的发言,只是压过了所有声音。补丁就是那个喇叭——它不改图,只提供一条置信度极高的局部证据。
两个关键性质:位置无关(贴在画面哪个角落都可能生效)、图像无关(同一块补丁可以跨图片使用,叫作 universal patch)。更要紧的是,生成时如果对补丁做随机缩放、旋转、加噪、模拟不同光照(这类做法一般叫期望变换,Expectation Over Transformation, EOT),打印出来贴在真实物体上,被手机拍下来再送进模型,也可能继续骗过它。公开演示里,贴纸骗过停车标志识别、骗过人脸识别系统的例子都出现过;具体效果受拍摄距离、角度、打印材质影响很大,别当成"贴了就必中"。
和几个近邻概念的区别
| 改动位置 | 人眼可见 | 何时起作用 | 是否动模型 | |
|---|---|---|---|---|
| 对抗补丁 | 画面中一小块区域 | 通常可见 | 推理时,输入侧 | 不动 |
| 对抗扰动(adversarial perturbation) | 整张图每个像素微调 | 几乎不可见 | 推理时,输入侧 | 不动 |
| 后门攻击(backdoor attack) | 数据里埋触发器 | 视触发器而定 | 训练时植入,推理时触发 | 改了权重 |
一句话:扰动是"全图微调、悄悄来",补丁是"局部大改、明着贴",后门是"训练阶段先下毒"。三者都利用了模型与人类感知不一致这个根本弱点。
对从业者和普通人的意义
做视觉落地的人,要把补丁当作威胁模型的一部分:内容审核、工业质检、自动驾驶感知、门禁人脸,凡是没有人工复核的高风险链路,都值得做红队测试。防御有对抗训练(把补丁样本混进训练集)、输入预处理(压缩、裁剪、随机化)、检测异常高响应区域、多模型集成等,但都不通用——针对一种补丁的防御,常常被下一种绕过。以官方文档和最新评测为准,别信"已彻底解决"这类说法。
对普通职场人,结论更朴素:模型不是"看懂"了世界,它只是在做统计匹配。凡是让模型单独决策、后果又不可逆的环节,留一道人工复核,比任何花哨的防御都实在。
