语义分割--Global Deconvolutional Networks for Semantic Segmentation

语义分割 Global Deconvolutional Networks for Semantic Segmentation BMVC 2016 https://github.com/DrSleep/GDN

基于CNN的语义分割在近两年得到飞速的发展,但是这种 pixel-wise labelling with CNNs has its own unique challenges: 特征图的精确放大 + context 信息的嵌入 1)an accurate deconvolution, or upsampling, of low-resolution output into a higher-resolution segmentation mask 2)an inclusion of global information, or context, within locally extracted features

本文提出一个网络结构 Global Deconvolutional Network 解决这两个问题。本文的模型最大亮点是在保持较高精度同时 significantly 降低了模型的参数量

3 Global Deconvolutional Network 3.1 Baseline Models 这里我们选择了两个开源的基准分割模型: FCN-32s and DeepLab ,他们两个都是基于 VGG 16-layer net,将全连接层变为卷积层,目标函数用 pixel-wise softmax loss 表示

3.2 Global Interpolation 输入图像经过一系列卷积和池化后得到一个 encoded image,其尺寸降采样很多。为了输出原始图像尺寸的分割图像,我们需要同时对这个 encoded image 进行 decode and upsample。 这里我们设计了一个 a learnable global interpolation

假定 x 表示 decoded information, 输入RGB图像为 I , 上采样后的信号为 y

我们的这个上采样不是根据最近的四个点数据信息来计算的,而是包括了更多的信息进来 Opposite to a simple bilinear interpolation, which operates only on the closest four points, the equation above allows to include much more information on the rectangular grid

this operation is differentiable

3.3 Multi-task loss loss functions 定义如下:

本文提出的每个模型其目的都是为了提取全局信息,将其嵌入到网络中去。本文提出的这个插值方法也是有效的上采样方法。 Overall, each component of the proposed approach aims to capture global information and incorporate it into the network, hence the name global deconvolutional network. Besides that, the proposed interpolation also effectively upsamples the coarse output and a nonlinear upsampling can be achieved with the addition of an activation function on the top of the block.

4 Experiments

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

学界 | 深度梯度压缩:降低分布式训练的通信带宽

选自arXiv 机器之心编译 参与:Panda ICLR 2018 将在当地时间明年 4 月 30 日~5 月 3 日在加拿大温哥华举办。目前正处于评审阶段的会...

34012
来自专栏腾讯大数据的专栏

深度卷积神经网络 CNNs 的多 GPU 并行框架 及其在图像识别的应用

将深度卷积神经网络(Convolutional Neural Networks, 简称CNNs)用于图像识别在研究领域吸引着越来越多目光。由于卷积神经网...

2185
来自专栏绿巨人专栏

强化学习总结

2957
来自专栏琦小虾的Binary

背景提取算法——帧间差分法、背景差分法、ViBe算法、ViBe+算法

背景提取算法——帧间差分法、背景差分法、ViBe算法、ViBe+算法 背景提取是在视频图像序列中提取出背景,背景就是场景中静止不动的景物。因为摄像机不动,因此图...

64510
来自专栏AI科技大本营的专栏

测试数据科学家聚类技术的40个问题(能力测验和答案)(上)

介 绍 创造出具有自我学习能力的机器——人们的研究已经被这个想法推动了十几年。如果要实现这个梦想的话,无监督学习和聚类将会起到关键性作用。但是,无监督学习在带来...

3124
来自专栏新智元

224秒训练ImageNet!这次创纪录的是索尼大法

随着用于深度学习的数据集和深度神经网络模型的规模增大,训练模型所需的时间也在增加具有数据并行性的大规模分布式深度学习可以有效缩短训练时间。

481
来自专栏机器之心

视频 | 机器之心线上分享第三期:深度神经网络-随机三元化梯度下降和结构化稀疏

上周,机器之心 NIPS 2017 线上分享邀请到了杜克大学温伟。温伟博士分享了两种不同的方法 TernGrad 与 SSL。这篇文章对温伟博士的分享做了回顾,...

33111
来自专栏PPV课数据科学社区

内存带宽与计算能力,谁才是决定深度学习执行性能的关键?

随着深度学习的不断发展,计算能力得到了深度学习社区越来越多的注意。任何深度学习模型,归根到底都是需要跑在设备上的,而模型对设备性能的要求越低,则能得到越多的运用...

3719
来自专栏机器之心

业界 | Tensor Core究竟有多快?全面对比英伟达Tesla V100/P100的RNN加速能力

2779
来自专栏新智元

【Bengio高徒演讲】深度学习三板斧:网络架构、学习算法和时空层级(48PPT)

【新智元导读】Kyunghyun Cho是纽约大学计算机科学与数据科学助理教授。他是蒙特利尔大学博士后,导师是 Yoshua Bengio。他于2014年初在阿...

3195

扫码关注云+社区