可变形卷积网络

每天一分钟，带你读遍机器人顶级会议文章

标题：Deformable Convolutional Network

作者：Jifeng Dai, Haozhi Qi, Yuwen Xiong, Yi Li, Guodong Zhang, Han Hu, Yichen Wei

来源：ICCV 2017 ( IEEE International Conference on Computer Vision)

播音员：zzq

编译：张建 周平(80)

欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权

摘要

卷积神经网络（CNNs）由于其固定的几何结构而固有地局限于模型几何变换。

在这项工作中，我们引入两个新的模块来增强CNN的变换建模能力，即可变形卷积和可变形RoI池。两者都是基于模块中的增加空间采样位置的想法，其中带有额外的偏移量并学习目标任务的偏移量，不需要额外的监督。新的模块可以很容易地取代现有CNN中的普通对等体，并且可以很容易地通过标准的反向传播来进行端到端的训练，从而产生可变形卷积网络。

大量的实验验证了我们的方法的性能。我们首次展示了在深度CNN中学习密集的空间变换，对于复杂的视觉任务，如目标检测和语义分割是很有效的。

代码发布在https://github.com/msracver/Deformable-ConvNets。

图1：3×3标准可变形卷积的采样位置的说明。

（a）标准卷积的规则采样网格（绿点）。

（b）变形的采样位置（深蓝点），在可变形卷积中具有增强偏移（浅蓝色箭头）。

（c）和（d）是（b）的特殊情况，表明变形卷积概括了各种尺度变换、（各向异性）纵横比和旋转。

图2：3×3可变形卷积的说明

图3：3×3可变形RoI池的说明

图4：3×3可变形PS ROI池的说明

图5：在标准卷积（a）中的固定感受野和可变形卷积（b）中的自适应感受野，使用两层图解。

顶部：两个激活单元在顶部特征图上，在两个不同尺度和形状的物体上。激活来自于3×3滤波器。

中间：在前面的特征图上的3×3滤波器的采样位置。另外两个激活单元被高亮显示。

底部：在前面的特征图上两个级别的3×3滤波器的采样位置。突出显示的位置对应于上面突出显示的单元。

Abstract

Convolutional neural networks (CNNs) are inherently limited to model geometric transformations due to the fixed geometric structures in their building modules. In this work, we introduce two new modules to enhance the transformation modeling capability of CNNs, namely, deformable convolution and deformable RoI pooling. Both are based on the idea of augmenting the spatial sampling locations in the modules with additional offsets and learning the offsets from the target tasks, without additional supervision. The new modules can readily replace their plain counterparts in existing CNNs and can be easily trained end-to-end by standard back-propagation, giving rise to deformable convolutional networks. Extensive experiments validate the performance of our approach. For the first time, we show that learning dense spatial transformation in deep CNNs is effective for sophisticated vision tasks such as object detection and semantic segmentation.

The code is released at :

https://github.com/msracver/Deformable-ConvNets.

如果你对本文感兴趣，想要下载完整文章进行阅读，可以关注【泡泡机器人SLAM】公众号（paopaorobot_slam）。

欢迎来到泡泡论坛，这里有大牛为你解答关于SLAM的任何疑惑。

有想问的问题，或者想刷帖回答问题，泡泡论坛欢迎你！

泡泡论坛：http://paopaorobot.org/forums/

泡泡机器人SLAM的原创内容均由泡泡机器人的成员花费大量心血制作而成，希望大家珍惜我们的劳动成果，转载请务必注明出自【泡泡机器人SLAM】微信公众号，否则侵权必究！同时，我们也欢迎各位转载到自己的朋友圈，让更多的人能进入到SLAM这个领域中，让我们共同为推进中国的SLAM事业而努力！