图片语义分割-FCN

首先说下什么是语义分割,语义分割是从像素的水平上来理解识别图像,相当于知道每一个像素是什么东西。可用于自动驾驶和医学上的。

早先是利用手工特征加图模型。随着深度网络的发展,也引入的CNN,传统的CNN是有问题的:a.网络的后半段空间信息的缺失;b.输入的图片的尺寸固定。为了改进这个FCN到来了,FCN(Fully Convolutional Networks)又全卷积网络,如它的名字一样,它的所有层都是卷积层,很好的解决了降采样后的低分辨率问题。

对每一个像素进行预测

FCN有三个重要的东西:卷积化;反卷积;跳层结构。

卷积化:全连接层(6,7,8)都变成卷积层,适应任意尺寸输入,输出低分辨率的分割图片。开始的5个卷积层,使图像的分辨率下降了32倍,每层降低2倍。降主要是因为Pooling池化层,相当于扫描四个像素选一个,扫描的步长是2。后面的三层是没有降采样的。我自己有画一个卷积的降纬的图解。如下第二个图:

反卷积:低分辨率的图像进行上采样,输出同分辨率的分割图片。有两点注意的反卷积的卷积核是不变的。对于偶输出,有外围全部补0的反卷积,对于奇输出,有插空补0的反卷积。如下图:

输入是2X2卷积的偶的,反卷积输出是上面4X4的,卷积核3X3,步长是1,补零是补了两层

输入是卷积后的3X3的,反卷积的结果是5X5的,卷积核3X3,步长是2,补零是间隔补一个

跳层结构:32倍反卷积得到的分割结果粗糙,使用前面的2个卷积层的输出做融合,就是pool3和pool4后增加一个1X1的卷积层做预测,对于为何选前面两个卷积层的结果,因为较浅的网络的结果精细,较深的网络结果鲁棒,至于什么是鲁棒可以认为你灵活抗干扰罗。

跳层结构图例,第一个是直接32倍上采样,第二个融合后再16倍上采样,第三个是融合后再8倍上采样

最后说下FCN网络的构架,我画了一张图:

pool池化层会导致图像下采样,前面的几层基本不变,就是6,7,8的卷积化,然后加上反卷积和跳层操作,融合是和pool4第四个池化层数据融合。

论文引用:

Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 3431-3440.

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

深度 | 从AlexNet到残差网络,理解卷积神经网络的不同架构

3007
来自专栏华章科技

94页论文综述卷积神经网络:从基础技术到研究前景

导读:卷积神经网络(CNN)在计算机视觉领域已经取得了前所未有的巨大成功,但我们目前对其效果显著的原因还没有全面的理解。近日,约克大学电气工程与计算机科学系的 ...

572
来自专栏机器之心

学界 | 面向工程师的机器学习简介:理论、算法、概念全覆盖

选自arXiv 机器之心编译 参与:Panda、蒋思源、黄小天 人工智能技术已经成为当前技术变革的主要推动力之一,从计算机科学到工程学等许多科学技术领域都在竭尽...

27110
来自专栏企鹅号快讯

机器学习——K-均值算法理论

机器学习(十九) ——K-均值算法理论 (原创内容,转载请注明来源,谢谢) 一、概述 K均值(K-Means)算法,是一种无监督学习(Unsupervisedl...

19110
来自专栏计算机视觉战队

深度网络自我学习,最终实现更少样本的学习

接下来我们就开始今日的主题:自我学习,最少的样本去学习。听到这个,大家会想到剪枝、压缩神经网络。今天这个更加有趣,现在我们开始欣赏学术的盛宴!

631
来自专栏有趣的Python

11- 深度学习之神经网络核心原理与算法-卷积核典型的CNN网络

2233
来自专栏机器学习算法全栈工程师

深度学习入门

引言 近几年来人工智能越来越火,大家都已经知道了AlphaGo的威力,然而在其背后,从技术层面来说,深度学习功不可没。那么深度学习到底是什么,其...

2717
来自专栏专知

迁移学习在深度学习中的应用

▌简介 ---- 迁移学习是一种机器学习方法,其中为一个任务开发的模型可以在另一个任务中重用。 迁移学习是深度学习中的一种流行方法,其中预训练(pre-trai...

2645
来自专栏量子位

三角兽首席科学家分享实录:基于对抗学习的生成式对话模型

主讲人:三角兽首席科学家 王宝勋 颜萌 整理编辑 量子位 出品 | 公众号 QbitAI 对抗学习和对话系统都是近年来的新热点。今年7月,三角兽研究组与哈工大I...

3356
来自专栏AI科技大本营的专栏

CNN可视化最新研究方法进展(附结构、算法)

【AI科技大本营导读】深度学习一直被看做是一个难以解释的“黑匣子”。一方面在于其缺乏数学上的优雅,缺乏基础理论的支撑,另一方面在工程上缺乏解释性,其潜在的安全隐...

724

扫描关注云+社区