学界 | 微软亚洲研究院提出两大创新模块,构建可变形卷积神经网络

论文摘要

由于用于构建卷积神经网络(CNNs)的各个模块具有较为固定的几何结构,从而在根本上限制了 CNNs 算法对几何变换的建模。在《Deformable Convolutional Networks》这篇论文中,来自微软亚洲研究院的研究员们提出了两种全新的模块 Deformable convolution 和 Deformable RoI pooling 用于提升 CNNs 算法对几何变换的建模能力。

上图展示了一个 3 x 3 大小的 Deformable convolution 结构

Deformable convolution 和 Deformable RoI pooling 两种模块构建的思想分别是:

  • 在提供了额外偏移的情况下增加模块中的空间采样位置(见 Figure 2);
  • 在没有额外监督的情况下从目标任务学习偏移(见 Figure 3)。

上图展示了一个 3 x 3 大小的 Deformable RoI pooling 结构

值得一提的是,这两个模块都可以轻而易举地取代现有卷积神经网络(CNNs)中的相对应模块,并且也可以通过标准的反向传播算法进行端到端(End-to-End)的训练从而产生可变形的卷积网络(Deformable convolutional networks)。

  • 上图中(a)展示了传统卷积操作中两层固定的感受野,而(b)展示可变形卷积操作中两层可自适应的感受野。(a)与(b)两图遵循相同的结构,自上而下分别是:1、最顶层的图片中展示两个激活单元,它们分位于不同形状与大小的物体中,而它们的输入来自于一个3x3大小的滤波器;2、中间的图片展示了两个3x3大小的滤波器在前一个特征图(feature map)上的采样位置,并且其中依然有两个激活单元被高亮出来;3、最底层的图片中展示了在前一个特征图上两个层级的3x3大小的滤波器的采样位置,其中有两组采样位置被高亮出来,它们分别对应于上一层图片中的高亮单元。

微软亚洲研究院的研究员们已经通过大量的实验验证了该新方法对于物体检测和语义分割这两个复杂视觉任务具有有效性,并且相关的实验代码也将被公开出来。

本文由AI科技评论编译,原文地址:Deformable Convolutional Networks(https://arxiv.org/pdf/1703.06211.pdf)

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-04-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏xingoo, 一个梦想做发明家的程序员

AOV网络拓扑排序

这个算法,主要是为输出一个无环图的拓扑序列 算法思想: 主要依赖一个栈,用来存放没有入度的节点,每次读取栈顶元素,并将栈顶元素的后继节点入度减一,如果再次出现入...

1965
来自专栏xingoo, 一个梦想做发明家的程序员

AOE关键路径

这个算法来求关键路径,其实就是利用拓扑排序,首先求出,每个节点最晚开始时间,再倒退求每个最早开始的时间。 从而算出活动最早开始的时间和最晚开始的时间,如果这两个...

2527
来自专栏后端之路

LinkedList源码解读

List中除了ArrayList我们最常用的就是LinkedList了。 LInkedList与ArrayList的最大区别在于元素的插入效率和随机访问效率 ...

19710
来自专栏MelonTeam专栏

ArrayList源码完全分析

导语: 这里分析的ArrayList是使用的JDK1.8里面的类,AndroidSDK里面的ArrayList基本和这个一样。 分析的方式是逐个API进行解析 ...

4519
来自专栏赵俊的Java专栏

从源码上分析 ArrayList

1171
来自专栏刘君君

JDK8的HashMap源码学习笔记

3038
来自专栏学海无涯

Android开发之奇怪的Fragment

说起Android中的Fragment,在使用的时候稍加注意,就会发现存在以下两种: v4包中的兼容Fragment,android.support.v4.ap...

3165
来自专栏ml

朴素贝叶斯分类器(离散型)算法实现(一)

1. 贝叶斯定理:        (1)   P(A^B) = P(A|B)P(B) = P(B|A)P(A)   由(1)得    P(A|B) = P(B|...

3457
来自专栏开发与安全

算法:AOV网(Activity on Vextex Network)与拓扑排序

在一个表示工程的有向图中,用顶点表示活动,用弧表示活动之间的优先关系,这样的有向图为顶点表示活动的网,我们称之为AOV网(Activity on Vextex ...

2537
来自专栏聊聊技术

原 初学图论-Kahn拓扑排序算法(Kah

2878

扫码关注云+社区