跳到主内容
快讯直播
AI智模界
AI 词典

可变形卷积:让卷积核的采样点自己找位置

一句话定义:可变形卷积(Deformable Convolution)是一种卷积变体,它的卷积核不再固定采样在规则网格上,而是为每个采样点学出一个偏移量,让采样位置自己移到信息量更大的地方。

原理拆解。标准 3×3 卷积像拿一张方格纸盖在特征图上,固定取九个点加权求和。这个固定网格默认图像内容是对齐的,但现实里的手会弯、字会歪、器官会变形,格子压上去经常正好错过轮廓。

可变形卷积给这九个点各配一对偏移量(Δx, Δy),3×3 就是 18 个数。这 18 个数由另一路普通卷积从同一张特征图上预测出来,与主网络一起端到端训练,因此模型会自己学出该往哪里挪。偏移后的坐标通常落在像素之间,于是用双线性插值(bilinear interpolation)把该位置的值读出来,插值可导,梯度仍能正常回传。后续改进版还给每个采样点加了一个调制权重(modulation scalar),相当于给每个点再配一个 0 到 1 的“认真程度”,让网络能忽略明显无用的位置。

打个比方:隔着方格纸看一张糊掉的照片找笔画,格子对不上就漏掉;可变形卷积相当于让每个格子伸出一根带弹性的触手,自己摸到笔画上去。

和相邻概念的区别:

方案采样位置是否随内容自适应主要代价
标准卷积固定网格否低,硬件友好
空洞卷积(Dilated Convolution)固定网格,间距拉大否低,仅扩大感受野
可变形卷积网格加学习到的偏移是,逐位置、逐采样点中高,访存不规则
自注意力(AI 词典:Self-Attention">Self-Attention)全图加权聚合是,全局较高,计算量大

和空间变换网络(Spatial Transformer Network)相比,后者对整张特征图做一次全局的几何变换,可变形卷积则是局部、每个位置各有各的偏移,粒度细得多。

对从业者的实际意义:在目标检测、实例分割、OCR 这类目标形状变化大的任务里,可变形卷积能明显帮上忙,比如弯曲文字、行人姿态、医学影像中的软组织。但它带来的代价很实际:多了一路卷积负责预测偏移,多了一次插值,采样地址不连续导致显存访问不规整,实际推理速度往往比同规模普通卷积慢,量化与端侧部署的支持程度各家框架不一,用前请以对应框架的官方文档为准。

对普通人的意义:手机相册里的自动抠图、把歪斜的票据文字识别出来、辅助驾驶识别行人动作,背后都可能有这类“会挪位置的卷积”在起作用。它说明一件事:模型不只在学“看什么”,也在学“往哪儿看”。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。