学界 | 堆叠解卷积网络实现图像语义分割顶尖效果

选自arXiv

机器之心编译

参与:路雪

本文介绍了一种堆叠解卷积网络(Stacked Deconvolutional Network),它可用于高效的图像语义分割。该方法堆叠多个浅层解卷积网络,采用层级监督帮助网络优化,在多个数据集上实现了顶尖效果。机器之心对该论文进行了介绍。

链接:https://arxiv.org/pdf/1708.04943.pdf

摘要:语义分割领域的近期进展主要由改善全卷积网络(FCN)下的空间分辨率而得到。为了解决该问题,我们提出了一种堆叠解卷积网络(Stacked Deconvolutional Network/SDN)用于语义分割。在 SDN 中,多个浅层解卷积网络(即 SDN 单元)依次堆叠,以整合语境信息,确保位置信息的精细恢复。同时,单元间和单元内的连接被用来支持网络训练和提升特征融合,因为这些连接可以改善信息流和整个网络内的梯度传播。此外,在每个 SDN 单元的上采样过程中使用层级监督(hierarchical supervision),可以确保特征表示的区别并帮助网络优化。我们实现了综合性实验,并在三个数据集(PASCAL VOC 2012、CamVid、GATECH)上实现了顶尖结果。尤其是,我们的最好模型没有使用 CRF 后处理就在测试集上的 intersection-over-union 得分是 86.6%。

图 1. 我们方法的架构。上半部分表示我们提出的堆叠解卷积网络(SDN)的结构,下半部分表示 SDN 单元(a)、下采样模块(b)和上采样模块(c)的具体结构。

图 2. 上采样过程中带有分数图连接(score map connection)的层级监督。

图 3. 不同的堆叠 SDN 结构。

图 4. 我们的方法在 PASCAL VOC 2012 验证集上的结果。每一列列出了输入图像(A)、SDN_M1 网络的语义分割结果(B)、SDN_M2 网络的语义分割结果(C)、SDN_M3 网络的语义分割结果(D)和真值(E/Groundtruth)。

表 5. 我们的方法在 PASCAL VOC 2012 测试集上的实验结果。

图 5. 我们的方法在 PASCAL VOC 2012 数据集上的结果。每一行的图像从左到右分别是(1)输入图像(2)真值(3)语义分割结果。

图 6. 我们的方法在 CamVid 数据集上的结果。每一列从上到下依次是:(1)输入图像(2)语义分割结果(3)真值。

表 6. 我们的方法在 CamVid 测试集上的实验结果。

表7. GATECH 测试集上的实验结果

图 7. 我们的方法在 GATECH 数据集上的结果。每一列的图像从上到下依次是:(1)输入图像(2)语义分割结果(3)真值。

本文为机器之心编译,转载请联系本公众号获得授权。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-09-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

ECCV 2018 | 微软亚洲研究院与北京大学共同提出用于物体检测的可学习区域特征提取模块

作者:Jiayuan Gu、Han Hu、Liwei Wang、Yichen Wei、Jifeng Dai

8020
来自专栏大数据挖掘DT机器学习

快速理解bootstrap、bagging、boosting

Bootstraping: 名字来自成语“pull up by your own bootstraps”,意思是依靠你自己的资源,称为自助法,它是一种有放回的抽...

30870
来自专栏计算机视觉战队

通过部分感知深度卷积网络进行人脸特征点定位

人脸特征点定位是一个非常具有挑战性的研究课题。由于纹理和形状的不同,不同人脸特征点的定位精度差异很大。但大多数现有的方法不能考虑特征点的部分位置。 为了解决这个...

32760
来自专栏人工智能LeadAI

Bagging

18440
来自专栏人工智能

通过部分感知深度卷积网络进行人脸特征点定位

人脸特征点定位是一个非常具有挑战性的研究课题。由于纹理和形状的不同,不同人脸特征点的定位精度差异很大。但大多数现有的方法不能考虑特征点的部分位置。 为了解决这个...

226100
来自专栏AI科技评论

干货 | 基于深度学习的目标检测算法综述(一)

目标检测(Object Detection)是计算机视觉领域的基本任务之一,学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展,目标检测算法也从基...

17720
来自专栏红色石头的机器学习之路

Coursera吴恩达《神经网络与深度学习》课程笔记(2)-- 神经网络基础之逻辑回归

上节课我们主要对深度学习(Deep Learning)的概念做了简要的概述。我们先从房价预测的例子出发,建立了标准的神经网络(Neural Network)模型...

27900
来自专栏专知

深入广义线性模型:分类和回归

【导读】本文来自AI科学家Semih Akbayrak的一篇博文,文章主要讨论了广义的线性模型,包括:监督学习中的分类和回归两类问题。虽然关于该类问题的介绍文章...

52360
来自专栏SnailTyan

YOLO,You Only Look Once论文翻译——中英文对照

You Only Look Once: Unified, Real-Time Object Detection Abstract We present YOLO...

33800
来自专栏向治洪

实战卷积神经网络

在近些年,深度学习领域的卷积神经网络(CNNs或ConvNets)在各行各业为我们解决了大量的实际问题。但是对于大多数人来说,CNN仿佛戴上了神秘的面纱。 CN...

24360

扫码关注云+社区

领取腾讯云代金券