语义分割--Global Deconvolutional Networks for Semantic Segmentation

语义分割 Global Deconvolutional Networks for Semantic Segmentation BMVC 2016 https://github.com/DrSleep/GDN

基于CNN的语义分割在近两年得到飞速的发展,但是这种 pixel-wise labelling with CNNs has its own unique challenges: 特征图的精确放大 + context 信息的嵌入 1)an accurate deconvolution, or upsampling, of low-resolution output into a higher-resolution segmentation mask 2)an inclusion of global information, or context, within locally extracted features

本文提出一个网络结构 Global Deconvolutional Network 解决这两个问题。本文的模型最大亮点是在保持较高精度同时 significantly 降低了模型的参数量

3 Global Deconvolutional Network 3.1 Baseline Models 这里我们选择了两个开源的基准分割模型: FCN-32s and DeepLab ,他们两个都是基于 VGG 16-layer net,将全连接层变为卷积层,目标函数用 pixel-wise softmax loss 表示

3.2 Global Interpolation 输入图像经过一系列卷积和池化后得到一个 encoded image,其尺寸降采样很多。为了输出原始图像尺寸的分割图像,我们需要同时对这个 encoded image 进行 decode and upsample。 这里我们设计了一个 a learnable global interpolation

假定 x 表示 decoded information, 输入RGB图像为 I , 上采样后的信号为 y

我们的这个上采样不是根据最近的四个点数据信息来计算的,而是包括了更多的信息进来 Opposite to a simple bilinear interpolation, which operates only on the closest four points, the equation above allows to include much more information on the rectangular grid

this operation is differentiable

3.3 Multi-task loss loss functions 定义如下:

本文提出的每个模型其目的都是为了提取全局信息,将其嵌入到网络中去。本文提出的这个插值方法也是有效的上采样方法。 Overall, each component of the proposed approach aims to capture global information and incorporate it into the network, hence the name global deconvolutional network. Besides that, the proposed interpolation also effectively upsamples the coarse output and a nonlinear upsampling can be achieved with the addition of an activation function on the top of the block.

4 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【机器学习】机器学习算法预览

在这篇文章中,我要带大家预览一下机器学习中最热门的算法。预览主要的机器学习算法可在某种程度上给你这样的一种感觉,让你知道什么样的方法是可靠的。 这里有很多算法都...

2265
来自专栏AI科技大本营的专栏

干货 | 目标检测入门,看这篇就够了(上)

作者 | 李家丞( 同济大学数学系本科在读,现格灵深瞳算法部实习生) 近年来,深度学习模型逐渐取代传统机器视觉方法而成为目标检测领域的主流算法,本系列文章将回顾...

2.2K12
来自专栏机器学习和数学

[机智的机器在学习]机器学习方法的分类

今天主要介绍一下机器学习里面的几个基本概念,我刚开始学的时候,比较纠结的几个概念,主要有监督学习,无监督学习,半监督学习, 深度学习, 还有强化学习,强化学习是...

3155
来自专栏机器之心

AAAI 2018 | 南京大学提出用于聚类的最优间隔分布机

3325
来自专栏深度学习

如何使用TensorFlow生成对抗样本

如果说卷积神经网络是昔日影帝的话,那么生成对抗已然成为深度学习研究领域中一颗新晋的耀眼新星,它将彻底地改变我们认知世界的方式。对抗学习训练为指导人工智能完成复杂...

3897
来自专栏AI科技评论

学界 | 腾讯AI Lab解读多篇ACL 2018入选长文

本文转载自腾讯 AI Lab,微信号 tencent_ailab。本文将详解 2018 年 NLP 领域顶级学术会议 ACL 上,腾讯AI Lab入选 5 篇文...

982
来自专栏机器之心

学界 | 为卷积模型执行加入循环和远程反馈,更完整地拟合生物视觉

大脑的感觉系统必须要在复杂的有噪声感觉数据中检测出有意义的模式 [James, 1890]。视觉环境可以揭示对象的积极或消极性质,包括食物种类、危险标志以及令人...

532
来自专栏目标检测和深度学习

干货 | 目标检测入门,看这篇就够了(上)

作者 | 李家丞( 同济大学数学系本科在读,现格灵深瞳算法部实习生) 近年来,深度学习模型逐渐取代传统机器视觉方法而成为目标检测领域的主流算法,本系列文章将回顾...

31711
来自专栏深度学习那些事儿

利用pytorch实现Fooling Images(添加特定噪声到原始图像,使神经网络误识别)

fooling images,顾名思义,就是指一张图片,虽然上面通过肉眼看到的是松鼠(举个例子),但是因为这张图片加了一些特定的噪声,所以神经网络会将它误识别为...

2055
来自专栏AI研习社

问答 | 欧拉角中从物体坐标系向世界坐标系与从世界坐标系向物体坐标系旋转一样吗?

651

扫码关注云+社区