图片语义分割-FCN

首先说下什么是语义分割,语义分割是从像素的水平上来理解识别图像,相当于知道每一个像素是什么东西。可用于自动驾驶和医学上的。

早先是利用手工特征加图模型。随着深度网络的发展,也引入的CNN,传统的CNN是有问题的:a.网络的后半段空间信息的缺失;b.输入的图片的尺寸固定。为了改进这个FCN到来了,FCN(Fully Convolutional Networks)又全卷积网络,如它的名字一样,它的所有层都是卷积层,很好的解决了降采样后的低分辨率问题。

对每一个像素进行预测

FCN有三个重要的东西:卷积化;反卷积;跳层结构。

卷积化:全连接层(6,7,8)都变成卷积层,适应任意尺寸输入,输出低分辨率的分割图片。开始的5个卷积层,使图像的分辨率下降了32倍,每层降低2倍。降主要是因为Pooling池化层,相当于扫描四个像素选一个,扫描的步长是2。后面的三层是没有降采样的。我自己有画一个卷积的降纬的图解。如下第二个图:

反卷积:低分辨率的图像进行上采样,输出同分辨率的分割图片。有两点注意的反卷积的卷积核是不变的。对于偶输出,有外围全部补0的反卷积,对于奇输出,有插空补0的反卷积。如下图:

输入是2X2卷积的偶的,反卷积输出是上面4X4的,卷积核3X3,步长是1,补零是补了两层

输入是卷积后的3X3的,反卷积的结果是5X5的,卷积核3X3,步长是2,补零是间隔补一个

跳层结构:32倍反卷积得到的分割结果粗糙,使用前面的2个卷积层的输出做融合,就是pool3和pool4后增加一个1X1的卷积层做预测,对于为何选前面两个卷积层的结果,因为较浅的网络的结果精细,较深的网络结果鲁棒,至于什么是鲁棒可以认为你灵活抗干扰罗。

跳层结构图例,第一个是直接32倍上采样,第二个融合后再16倍上采样,第三个是融合后再8倍上采样

最后说下FCN网络的构架,我画了一张图:

pool池化层会导致图像下采样,前面的几层基本不变,就是6,7,8的卷积化,然后加上反卷积和跳层操作,融合是和pool4第四个池化层数据融合。

论文引用:

Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 3431-3440.

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨熹的专栏

为什么要用交叉验证

本文结构: 什么是交叉验证法? 为什么用交叉验证法? 主要有哪些方法?优缺点? 各方法应用举例? ---- 什么是交叉验证法? 它的基本思想就是将原始数据(da...

5174
来自专栏梦里茶室

读论文系列:Object Detection NIPS2015 Faster RCNN

转载请注明作者:梦里茶 Faster RCNN在Fast RCNN上更进一步,将Region Proposal也用神经网络来做,如果说Fast RCNN的最大...

3228
来自专栏磐创AI技术团队的专栏

深度学习之视频人脸识别系列二:人脸检测与对齐

人脸检测解决的问题为给定一张图片,输出图片中人脸的位置,即使用方框框住人脸,输出方框的左上角坐标和右下角坐标或者左上角坐标和长宽。算法难点包括:人脸大小差异、人...

2732
来自专栏人工智能

CNN之“物体检测” 篇

北京 上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 ? NVIDIA 深度学习学院 带你快速进入火热的DL领域 正文共344...

25610
来自专栏算法channel

深度学习|神经网络模型实现手写字分类求解思路

请点击上面公众号,免费订阅。 《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,...

3577
来自专栏决胜机器学习

深层神经网络参数调优(五) ——超参数调试、batch归一化、softmax回归

深层神经网络参数调优(五) ——超参数调试、batch归一化、softmax回归 (原创内容,转载请注明来源,谢谢) 一、超参数调试 1、超参数 超参数是不直...

4728
来自专栏机器学习原理

梯度下降算法

最优化算法的一种,解决无约束优化问题,用递归来逼近最小偏差的模型。 关于梯度的概念可参见以前的文章: 从方向导数到梯度 梯度下降法迭代公式为: ...

33311
来自专栏决胜机器学习

卷积神经网络(四) ——目标检测与YOLO算法

卷积神经网络(四) ——目标检测与YOLO算法 (原创内容,转载请注明来源,谢谢) 一、概述 目标检测,主要目的是在图片中,分类确认是否有需要的物体,如果有则标...

1.6K6
来自专栏新智元

谷歌官方:反向传播算法图解

【新智元导读】反向传播算法(BP算法)是目前用来训练人工神经网络的最常用且最有效的算法。作为谷歌机器学习速成课程的配套材料,谷歌推出一个演示网站,直观地介绍了反...

1600
来自专栏应兆康的专栏

机器学习概念:梯度下降

机器学习中大部分都是优化问题,大多数的优化问题都可以使用梯度下降/上升法处理,所以,搞清楚梯度算法就非常重要

5909

扫码关注云+社区

领取腾讯云代金券