空洞卷积与DeeplabV2实现图像语义分割的测试(tensorflow)

图像语义分割是对图像像素级理解的基础,也是图像处理的高阶操作。自从深度学习出来之后,已经有了不少的基于卷积网络的图像语义分割模型,如从全卷积网络到大型卷积核:深度学习的语义分割全指南这篇文章介绍了非常多的模型。

本篇博客只对空洞卷积进行多尺度背景聚合(Multi-Scale Context Aggregation by Dilated Convolutions)和DeepLab2(DeepLab + ResNet)两篇来进行测试。毕竟在介绍DeepLab2的时候需要用到空洞卷积。

(1)空洞卷积

空洞卷积的原理如图所示,仔细看了下原理,才知道在传统的CNN中,正常都会采用pooling池化来达到降维的目的,这种在图像语义分割中会产生一定的副作用,如经典的FCN在第3-5的featuremap(特征层)上进行语义分割,由于经过池化后的特征层上像素尺寸比较低,即使通过上采样,featuremap上的精度也会损失。因此空洞卷积的目的是:不要池化层,毕竟池化之后正常会减少像素的信息而导致信息损失。同时在某个卷积操作后进行如图所示的操作,从而可以扩大感知的视野,再采用这样大视野的新的featuremap操作从而来实现更加精确的语义分割。在Dilated Convolutions文章指出dilated convolution既可以以指数的速度扩大感受野且不会降低特征的分辨率和大小。dilated convolution感受野指数级计算的公式如下:F^(i+1)=(2^(i+2) − 1)×(2^(i+2) − 1)。

  对该模型进行测试,以实时路面某个监控场景来例,其语义分割结果如下所示,可以发现对汽车和行人的监控场景还不错。

上面的图场景比较复杂,分割结果也相对较差,主要里面的三轮面包车可能在Camvid这个训练集里面没有,导致没有识别的缘故。

(2) DeepLab2

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs。其流程图如下所示:

可以看出,DeepLab2使用了带孔/空洞卷积,金字塔型的空洞池化(ASPP)和全连接 CRF等多项技术的结合。

其中空洞卷积见第1部分,而SPP是一种空间金字塔分辨率的方式,从而来实现多个尺度的featuremap,从而可以实现对多种不同尺度图像对象的语义分割。

   DeepLab2的测试结果如下:

(1)论文原图的测试,可以发现分割精度还不错。

(2)路上行人的分割。

可以发现,对于远景的超市门口的人的分割还是不够。。。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

数字图像处理中的噪声过滤

大家好,在我们上一篇名为“数字图像处理中的噪声”的文章中,我们承诺将再次提供有关过滤技术和过滤器的文章。 所以这里我们还有关于噪声过滤的系列“图像视觉”的另一篇...

1742
来自专栏xingoo, 一个梦想做发明家的程序员

吴恩达机器学习笔记 —— 13 支持向量机

总结来说:如果y=1,我们希望z的值大于等于1,如果y=0,我们希望z的值小于-1,这样损失函数的值都会为0.

1191
来自专栏磐创AI技术团队的专栏

深度学习之视频人脸识别系列二:人脸检测与对齐

人脸检测解决的问题为给定一张图片,输出图片中人脸的位置,即使用方框框住人脸,输出方框的左上角坐标和右下角坐标或者左上角坐标和长宽。算法难点包括:人脸大小差异、人...

2732
来自专栏文武兼修ing——机器学习与IC设计

Faster-RCNN阅读笔记系统架构系统训练

Faster-RCNN是Fast-RCNN的后续版本,主要针对Fast-RCNN速度过慢进行优化。在Fast-RCNN中,速度的瓶颈主要是用于生成候选区域的Se...

2142
来自专栏机器学习原理

深度学习(4)——BP算法感知器神经网络线性神经网络BP神经网络

1112
来自专栏云时之间

深度学习与神经网络:正则化小栗子

1554
来自专栏人工智能LeadAI

CNN卷积神经网络分析

CNN最大的优势在特征提取方面。由于CNN的特征检测层通过训练数据进行学习,避免了显示的特征抽取,而是隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经...

1221
来自专栏世界第一语言是java

BP神经网络基础算法

2703
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(四):卷积神经网络

3667
来自专栏深度学习计算机视觉

BP神经网络总结笔记

概念背景(来自百度百科) BP神经网络的代表者是D.Rumelhart和J.McCelland,“反向传播(backpropagation)”一词的使用出现在1...

2823

扫码关注云+社区

领取腾讯云代金券