可变形卷积网络--Deformable Convolutional Networks

https://arxiv.org/abs/1703.06211 Microsoft Research Asia Code coming soon

本文可以看做是对 Spatial Transformer Networks 工作的深入，通过 deformable convolution 和 deformable RoI pooling提升当前CNN网络的空间信息建模能力。

Spatial Transformer Networks建立的是 global、sparse transformation ，本文的Deformable Convolutional Networks建立的是 local and dense transformation

2.1. Deformable Convolution

这里写图片描述

上图显示可变形卷积可以提高模型对 scale, aspect ratio and rotation 等映射的泛化能力。

卷积该具体怎么deformable，这个可以通过一个卷积层来学习，如下图所示：

这里写图片描述

从公式层面来说：一般的卷积可以定义如下式：

这里写图片描述

对于可变形卷积定义如下：

这里写图片描述

这个 offset ∆p n 通过卷积网络学习得到

传统卷积和可变形卷积的对比：

这里写图片描述

这里写图片描述

2.2. Deformable RoI Pooling 标准的 RoI pooling 模块将一个任意尺寸的输入矩形框特征转换到固定尺寸的特征。它主要用于基于候选区域的目标检测算法中。 pooling operation 可以如下式定义：

这里写图片描述

deformable RoI pooling 定义如下：

这里写图片描述

这个 offsets 通过一个全链接层学习

这里写图片描述

这里写图片描述