PSConv：多位一体、即插即用卷积单元

【Happy导语】该文是中国香港科技李铎、陈启峰团队提出一种多尺度卷积。它在更细粒度角度进行多尺度特征融合。看到该文有一种“相见恨晚”的感觉，因为笔者非常早之前就进行了类似工作的探索，可惜“人单力薄”仅仅进行“浅尝辄止”的探索。笔者认为该文最重要的一点是对PSConv的优化加速，将推理速度优化了额外推理耗时完全可以忽略的地步。

Paper: https://arxiv.org/abs/2007.06191

Code: https://github.com/d-li14/PSConv

Abstract

尽管CNN具有极强的建模能力，但其存在尺度敏感特性。为增强CNN的尺度鲁棒性，多尺度特征融合受到了极大关注，这些多尺度特征融合往往采用多个不同尺寸的卷积核进行融合，而忽视了核空间的更细粒度的利用。

作者提出了一种新颖的多尺度卷积，称之为Poly-Scale Convolution (PSConv)，它混合了不同的扩张因子并将其置于卷积核的不同位置。特别的，扩展因子集合可以沿输入和输出通道轴周期性循环，集成不同尺度的特征。PSConv是一种“即插即用”型模块，它可以对常规卷积进行直接替换，在得到更好特征表达学习的同时不引入额外参数与计算复杂度。

作者在ImageNet与MS-COCO数据集上验证了所提PSConv的优异性能。

Method

相比已有多尺度特征融合方案（如MixConv、PSPNet、ASPP、ScaleNet等），该文从更细粒度角度进行了探索，在具有相似计算复杂度的同时具有更强的特征提取能力。

Sketch of Convolution

上图可能不太容易看到MixConv与PSConv的区别，那我们将MixConv用PSConv相同的示意图进行绘制一番，见下图。这样两者的区别就非常明显了吧：MixConv每一组的输出仍为单尺度特征，只不过不同组具有不同尺度；而PSConv的每一组输出则是多尺度特征。

看到这里，大家应该非常清楚PSConv的核心所在了。也许有同学会说这种计算方式粒度太细，会导致推理速度变慢。确实，按照上述方式执行确实会导致推理速度变慢。那么有没有加速方案呢？当然有的，下图给出了PSConv的高效实现方案，注：两者之间存在等价关系哦。经过这种变换，PSCOnv可以通过组卷积进行快速实现。

也许仍有同学会说，它仍比标准卷积慢呀！是的，上述高效实现方式仍比标准卷积慢，但作者同样还提出了更快的加速方案。作者注意到：PSConv的主要速度瓶颈源自其中的扩张卷积。扩张卷积可以通过Dilated Winograd Convolution(DWC)进行加速，相比cuDNN中的GEMM，DWC可以进一步加速(2.14x@2,1.53x@4)，采用TVM编译优化可以得到额外的0.2x加速，采用Intel的OneDNN工具，PSConv可以进一步加速，大概是标准卷积的1.42x。基于PSConv的ResNet50/101推理耗时大概是标准实现的1.066x@GPU，1.051x@CPU。也就是说PSConv具有很高的实用价值。

Experiments

为说明所提方案的有效性，作者在ImageNet数据集上与其他方法进行了对比。结果见下表。

下表给出不同多尺度融合方案的性能对比。

此外，作者还给出了两组消融实验结果对比，见下表。

下表给出了所提方法在COCO数据集上的性能对比。

Conclusion

该文提出了一种新颖的卷积操作，称之为PSConv，它验证输入通道采用循环调节扩张比例的方式达到多尺度特征融合的目的。PSConv可以从更细粒度角度将输入特征进行多尺度融合，从而有效避免传统多尺度特征融合的高计算量问题。PSConv是一种“即插即用”计算单元，它可以轻易嵌入到现有CNN架构中并取得性能上的提升。

笔者在很早之前（2019年7-8月份）也进行过类似的研究，见链接稀疏卷积在模型设计中的应用.当时也提出了一种“可变卷积核尺寸稀疏组卷积”，它与同期的MixConv思想不谋而合。而PSConv则是在此基础上对“空白”部分进行多尺度的探索，将多尺度思想嵌入到稀疏组卷积的“空白”区域，在确保计算量不增加的前提下进一步提升输出的多尺度特征。