一句话定义:可变形卷积(Deformable Convolution)是一种卷积变体,它的卷积核不再固定采样在规则网格上,而是为每个采样点学出一个偏移量,让采样位置自己移到信息量更大的地方。
原理拆解。标准 3×3 卷积像拿一张方格纸盖在特征图上,固定取九个点加权求和。这个固定网格默认图像内容是对齐的,但现实里的手会弯、字会歪、器官会变形,格子压上去经常正好错过轮廓。
可变形卷积给这九个点各配一对偏移量(Δx, Δy),3×3 就是 18 个数。这 18 个数由另一路普通卷积从同一张特征图上预测出来,与主网络一起端到端训练,因此模型会自己学出该往哪里挪。偏移后的坐标通常落在像素之间,于是用双线性插值(bilinear interpolation)把该位置的值读出来,插值可导,梯度仍能正常回传。后续改进版还给每个采样点加了一个调制权重(modulation scalar),相当于给每个点再配一个 0 到 1 的“认真程度”,让网络能忽略明显无用的位置。
打个比方:隔着方格纸看一张糊掉的照片找笔画,格子对不上就漏掉;可变形卷积相当于让每个格子伸出一根带弹性的触手,自己摸到笔画上去。
和相邻概念的区别:
| 方案 | 采样位置 | 是否随内容自适应 | 主要代价 |
|---|---|---|---|
| 标准卷积 | 固定网格 | 否 | 低,硬件友好 |
| 空洞卷积(Dilated Convolution) | 固定网格,间距拉大 | 否 | 低,仅扩大感受野 |
| 可变形卷积 | 网格加学习到的偏移 | 是,逐位置、逐采样点 | 中高,访存不规则 |
| 自注意力(AI 词典:Self-Attention">Self-Attention) | 全图加权聚合 | 是,全局 | 较高,计算量大 |
和空间变换网络(Spatial Transformer Network)相比,后者对整张特征图做一次全局的几何变换,可变形卷积则是局部、每个位置各有各的偏移,粒度细得多。
对从业者的实际意义:在目标检测、实例分割、OCR 这类目标形状变化大的任务里,可变形卷积能明显帮上忙,比如弯曲文字、行人姿态、医学影像中的软组织。但它带来的代价很实际:多了一路卷积负责预测偏移,多了一次插值,采样地址不连续导致显存访问不规整,实际推理速度往往比同规模普通卷积慢,量化与端侧部署的支持程度各家框架不一,用前请以对应框架的官方文档为准。
对普通人的意义:手机相册里的自动抠图、把歪斜的票据文字识别出来、辅助驾驶识别行人动作,背后都可能有这类“会挪位置的卷积”在起作用。它说明一件事:模型不只在学“看什么”,也在学“往哪儿看”。
