学界 | 微软亚洲研究院提出两大创新模块,构建可变形卷积神经网络

论文摘要

由于用于构建卷积神经网络(CNNs)的各个模块具有较为固定的几何结构,从而在根本上限制了 CNNs 算法对几何变换的建模。在《Deformable Convolutional Networks》这篇论文中,来自微软亚洲研究院的研究员们提出了两种全新的模块 Deformable convolution 和 Deformable RoI pooling 用于提升 CNNs 算法对几何变换的建模能力。

上图展示了一个 3 x 3 大小的 Deformable convolution 结构

Deformable convolution 和 Deformable RoI pooling 两种模块构建的思想分别是:

  • 在提供了额外偏移的情况下增加模块中的空间采样位置(见 Figure 2);
  • 在没有额外监督的情况下从目标任务学习偏移(见 Figure 3)。

上图展示了一个 3 x 3 大小的 Deformable RoI pooling 结构

值得一提的是,这两个模块都可以轻而易举地取代现有卷积神经网络(CNNs)中的相对应模块,并且也可以通过标准的反向传播算法进行端到端(End-to-End)的训练从而产生可变形的卷积网络(Deformable convolutional networks)。

  • 上图中(a)展示了传统卷积操作中两层固定的感受野,而(b)展示可变形卷积操作中两层可自适应的感受野。(a)与(b)两图遵循相同的结构,自上而下分别是:1、最顶层的图片中展示两个激活单元,它们分位于不同形状与大小的物体中,而它们的输入来自于一个3x3大小的滤波器;2、中间的图片展示了两个3x3大小的滤波器在前一个特征图(feature map)上的采样位置,并且其中依然有两个激活单元被高亮出来;3、最底层的图片中展示了在前一个特征图上两个层级的3x3大小的滤波器的采样位置,其中有两组采样位置被高亮出来,它们分别对应于上一层图片中的高亮单元。

微软亚洲研究院的研究员们已经通过大量的实验验证了该新方法对于物体检测和语义分割这两个复杂视觉任务具有有效性,并且相关的实验代码也将被公开出来。

本文由AI科技评论编译,原文地址:Deformable Convolutional Networks(https://arxiv.org/pdf/1703.06211.pdf)

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-04-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏智能算法

鸟群的启发--粒子群算法

看文章之前先看一个相关小视频(55s, 2.86M): ? 1. PSO的基本思想: “自然界的蚁群、鸟群、鱼群、羊群、牛群、蜂群等,其实时时刻刻都在给予我们以...

30011
来自专栏机器学习算法全栈工程师

机器学习实战——LBP特征提取

作者:张旭 编辑:栾志勇 零 全篇概述: LBP(Local Binary Pattern)算法 是一种描述图像特征像素点与各个像素点之间的灰度关系的局部特征的...

3718
来自专栏瓜大三哥

DeepID2+商汤科技

通过实证研究,文章发现了三深部神经激活的性质:稀疏性、选择性和鲁棒性。(1)可以观察到神经激活是中度稀疏的。适度的稀疏性最大化了深度网以及图像之间的距离。令人惊...

2765
来自专栏人人都是极客

OpenCV在车道线查找中的使用

本篇是自动驾驶系列的第二篇,在后台留言索取代码会提供源码链接。这次的目标是编写一个软件流水线来识别汽车前置摄像头的视频中的车道边界。摄像机标定图像,试验路图像和...

1K17
来自专栏CDA数据分析师

谷歌教你学 AI-第三讲简单易懂的估算器

Google Cloud发布了名为"AI Adventures"的系列视频,用简单易懂的语言让初学者了解机器学习的方方面面。 前两期我们分别讲到了机器学习的概念...

1876
来自专栏贾志刚-OpenCV学堂

详解LBP特征与应用(人脸识别)

之前我已经写过一篇关于局部二值模式(LBP)文章,当时主要是介绍了一下局部二值模式的概念与其简单的尺度空间扩展,本文是上一篇文章基础上对局部二值模式的深化,涉及...

2558
来自专栏计算机视觉life

自识别标记(self-identifying marker) -(4) 用于相机标定的CALTag源码剖析(下)

接上篇内容,继续对CALTag源码进行详细剖析~ 3、 角点检测 为了方便说明,在此将一个自识别标记,也就是上一步骤保留的连通区域,称为一个quad。下面分...

1889
来自专栏大学生计算机视觉学习DeepLearning

cv2.cornerHarris()详解 python+OpenCV 中的 Harris 角点检测

4489
来自专栏人人都是极客

OpenCV在车道线查找中的使用

本篇是自动驾驶系列的第二篇,在后台留言索取代码会提供源码链接。这次的目标是编写一个软件流水线来识别汽车前置摄像头的视频中的车道边界。摄像机标定图像,试验路图像和...

2967
来自专栏计算机视觉战队

什么促使了候选目标的有效检测?

首先,把之前推送的关于大数据问题与解决办法的内容上传给大家,供大家去学习去挖掘有用的知识。 网址:http://pan.baidu.com/s/1nvwoQ0p...

2669

扫描关注云+社区