图片语义分割-FCN

首先说下什么是语义分割,语义分割是从像素的水平上来理解识别图像,相当于知道每一个像素是什么东西。可用于自动驾驶和医学上的。

早先是利用手工特征加图模型。随着深度网络的发展,也引入的CNN,传统的CNN是有问题的:a.网络的后半段空间信息的缺失;b.输入的图片的尺寸固定。为了改进这个FCN到来了,FCN(Fully Convolutional Networks)又全卷积网络,如它的名字一样,它的所有层都是卷积层,很好的解决了降采样后的低分辨率问题。

对每一个像素进行预测

FCN有三个重要的东西:卷积化;反卷积;跳层结构。

卷积化:全连接层(6,7,8)都变成卷积层,适应任意尺寸输入,输出低分辨率的分割图片。开始的5个卷积层,使图像的分辨率下降了32倍,每层降低2倍。降主要是因为Pooling池化层,相当于扫描四个像素选一个,扫描的步长是2。后面的三层是没有降采样的。我自己有画一个卷积的降纬的图解。如下第二个图:

反卷积:低分辨率的图像进行上采样,输出同分辨率的分割图片。有两点注意的反卷积的卷积核是不变的。对于偶输出,有外围全部补0的反卷积,对于奇输出,有插空补0的反卷积。如下图:

输入是2X2卷积的偶的,反卷积输出是上面4X4的,卷积核3X3,步长是1,补零是补了两层

输入是卷积后的3X3的,反卷积的结果是5X5的,卷积核3X3,步长是2,补零是间隔补一个

跳层结构:32倍反卷积得到的分割结果粗糙,使用前面的2个卷积层的输出做融合,就是pool3和pool4后增加一个1X1的卷积层做预测,对于为何选前面两个卷积层的结果,因为较浅的网络的结果精细,较深的网络结果鲁棒,至于什么是鲁棒可以认为你灵活抗干扰罗。

跳层结构图例,第一个是直接32倍上采样,第二个融合后再16倍上采样,第三个是融合后再8倍上采样

最后说下FCN网络的构架,我画了一张图:

pool池化层会导致图像下采样,前面的几层基本不变,就是6,7,8的卷积化,然后加上反卷积和跳层操作,融合是和pool4第四个池化层数据融合。

论文引用:

Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 3431-3440.

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-10-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

手把手教你如何用 TensorFlow 实现 CNN

CNN 的引入 在人工的全连接神经网络中,每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时,这时全连接网络需要训练的参数就会增大很...

46712
来自专栏PPV课数据科学社区

全连接网络到卷积神经网络逐步推导(组图无公式)

摘要: 在图像分析中,卷积神经网络(Convolutional Neural Networks, CNN)在时间和内存方面优于全连接网络(Full Connec...

602
来自专栏算法channel

最小二乘法原理(后):梯度下降求权重参数

在上一篇推送中总结了用数学方法直接求解最小二乘项的权重参数,然而有时参数是无法直接求解的,此时我们就得借助梯度下降法,不断迭代直到收敛得到最终的权重参数。首先介...

3367
来自专栏机器学习算法与Python学习

干货 | 深度学习之卷积神经网络(CNN)的模型结构

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 前言 在前面我们讲述了DNN的模型与...

4358
来自专栏计算机视觉战队

每日一学——线性分类笔记(下)

Softmax分类器 SVM是最常用的两个分类器之一,而另一个就是Softmax分类器,它的损失函数与SVM的损失函数不同。对于学习过二元逻辑回归分类器的读者来...

4027
来自专栏杨熹的专栏

Adaboost 算法

本文结构: 什么是集成学习? 为什么集成的效果就会好于单个学习器? 如何生成个体学习器? 什么是 Boosting? Adaboost 算法? ---- 什么是...

3277
来自专栏SIGAI学习与实践平台

理解AdaBoost算法

与随机森林一样,Boosting算法也是一种集成学习算法,随机森林和集成学习在SIGAI之前的公众号文章“随机森林概述”中已经介绍。Boosting的分类器由多...

544
来自专栏WD学习记录

卷积神经网络 CNN

参数共享机制   在卷积层中每个神经元连接数据窗的权重是固定的,每个神经元只关注一个特性。神经元就是图像处理中的滤波器,比如边缘检测专用的Sobel滤波器,即...

1023
来自专栏机器学习算法与Python学习

线性分类器-中篇

导读: 神经网络 反向传播算法 线性分类器-上篇 1 损失函数 在上一节定义了从图像像素值到所属类别的评分函数(score function),该函数的参数是权...

3409
来自专栏机器学习算法全栈工程师

重磅|基于深度学习的目标检测综述(一)

作者:叶 虎 编辑:黄俊嘉 前 言 图像分类,检测及分割是计算机视觉领域的三大任务。图像分类模型(详情见[这里](https://medium.c...

6435

扫码关注云+社区