跳到主内容
快讯直播
AI智模界
AI 词典

深度可分离卷积:把通道混合和空间卷积拆开算

一句话定义:深度可分离卷积(Depthwise Separable Convolution)是一种把标准卷积拆成两步的卷积操作:先让每个输入通道各自独立地做空间卷积(depthwise convolution,逐通道卷积),再用 1×1 卷积把各通道的信息线性组合起来(pointwise convolution,逐点卷积)。

拆开之后省了多少计算量

打个厨房里的比方。标准卷积像一位厨师同时照看所有食材:他每次舀一勺,既看锅里邻近的几样东西(空间邻域),又把所有食材的味道混在一起(通道混合)。深度可分离卷积则把它改成一条流水线:第一步,每个通道各炒各的,只看自己这块小区域的邻域关系;第二步,用 1×1 卷积当“调味师”,把各通道的成果按权重混匀。

用公式看更清楚。设卷积核边长 Dk、输入通道 M、输出通道 N、特征图边长 Df,标准卷积的乘加量约为 Dk·Dk·M·N·Df·Df;深度可分离卷积则是 Dk·Dk·M·Df·Df 加 M·N·Df·Df。两者比值约为 1/N + 1/Dk²。也就是说,输出通道越多、卷积核越大,省得越明显;常见的 3×3 卷积核、上百个输出通道时,理论计算量能降到接近十分之一。这是纯公式推导,不代表任何具体芯片上的实测速度。

和相邻概念的区别

操作空间建模通道混合典型用途
标准卷积有有(同时进行)通用主干网络
逐通道卷积(depthwise)有无只提空间特征
1×1 卷积(pointwise)无有升降维、跨通道融合
分组卷积(group convolution)有仅组内折中方案
深度可分离卷积有有(分两步)轻量模型

关键点:逐通道卷积其实是分组卷积的极端情形——组数等于通道数,每组只有一个通道。它本身完全不做通道间交流,所以必须补一个 1×1 卷积,否则各通道永远各说各话。深度可分离卷积等于“极端分组 + 通道混合”这对组合拳。

对从业者的实际意义

它的价值在于把算力预算从“又看空间又混通道”的重活里解放出来,是手机、摄像头、嵌入式设备上跑视觉模型的常见选择,MobileNet 系列就是围绕它设计的。但代价要说清楚:通道交互被削弱了,模型的表达能力随之下降,它不是无损替换。通道数本来就少的小网络里,逐通道卷积的参数太少,反而容易欠拟合;一些对通道间精细配合敏感的任务,直接替换可能掉点。还有一个工程上的坑:逐通道卷积的访存开销相对计算量偏高,属于“算得少但搬得多”的类型,理论 FLOPs 降了,实际推理速度未必等比例提升,选型时要在目标硬件上实测。

对普通人来说,这意味着手机相册的语义搜索、实时人像虚化、离线语音唤醒这类功能,能在地端完成而不必把数据传上云——省的是电和延迟。至于某个框架或芯片对它优化到什么程度,以官方文档和实测为准。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。