卫星图像分割--Effective Use of Dilated Convolutions for Segmenting Small Object Instances

Effective Use of Dilated Convolutions for Segmenting Small Object Instances in Remote Sensing Imagery https://arxiv.org/abs/1709.00179

针对卫星图像中的小目标分割问题,本文从 dilated convolution 的有效使用给出了解决方法,主要是 先 increasing dilation factor,再 decreasing dilation factor

卫星图像分割和普通图像分割是有明显的差异性的,如下图所示:

卫星图像的特征有以下两点: 1)Size of objects 目标的尺寸很小 2)Layout of objects 目标的排列很密集

为了分割出这些密集的小目标,图像中一个很重要的信息就是 context 周边信息。文献【26】指出在CNN中 context 对于识别小目标的主要性。尽管降采样层对于增加感受野是有帮助的,但是他们忽视了另一个重要的因素:resolution。分辨率对于解决密集小目标分割是很重要的。但是降采样层会导致CNN网络中特征图尺寸越来越小,这些小的特征图导致小目标信息的丢失。即使通过其他一些补偿如:skip connections [1, 5] or hypercolumns [6, 21] 也难以解决问题。所以我们需要在增加感受野的同时保持特征图的分辨率。

dilated convolutions 是一个不错的方法,它可以保持分辨率不变,但是目前dilated convolutions 使用方法不能很好的分割 小目标, aggressively increasing dilation factors fails to aggregate local features of small objects. This means that whereas increasing dilation factors is important in terms of resolution and context, it can be detrimental to small objects. This is especially undesirable for remote sensing scenario.

We solve this problem by simply going against the tide—decreasingly dilated convolutions.

Overview of the proposed network architecture

网络包括三个模块:front-end module, local feature extraction (LFE) module and head module 3.2. Front-end module The front-end module is designed to extract features that cover large context, and thus the dilation factors are gradually increased 这个模块主要负责提取好的特征,主要使用递增的 dilation factors 来增加感受野来得到更大的 context there are two problems concerning sparsity in dilated kernels.

3.3. Local feature extraction module LFE module 主要是解决 front-end module 的问题。大量使用 dilated convolution 造成了两个问题 (1) spatial consistency between neighboring units becomes weak 相邻神经元直接的空间联系变弱 (2) local structure cannot be extracted in higher layer. 在后面的网络层提取不到图像中的局部结构信息

Problem on spatial inconsistency: We can see that information pyramids of two adjacent units do not overlap due to the sparse connections of the dilated kernels 从上图我们可以看出因为 dilated kernels 中的稀疏连接,导致相邻神经元没有联系 In the case of the dilation factor of 2, two neighboring units have non-overlap information pyramids, and as we increase the dilation factor, number of neighboring units which have non-overlap information pyramids grows larger. 当我们增加 dilation factor 时, 没有联系的神经元空隙会变大。

造成的后果就是分割结果有锯齿现象。 this causes spatial inconsistency between neighboring units and causes serious jaggy patterns in final output maps

Problem on local structure extraction: 上图的右边显示,网络前面层中间神经元的不联系导致网络后面层神经元之间不联系,局部结构信息的丢失 information pyramids do not overlap for two adjacent units in bottom most layer. All units in top most layer receive information from either of the two units, but not both. This means that all units in top most layer are unaware of local structure inside the two units.

Local feature extraction module: 解决的方法就是 先 increasing dilation factor,再 decreasing dilation factor

3.4. Post-processing 直接用二值化得到分割结果

4 Experiments Toyota City Dataset

Relative improvements

不同模型的效果对比

Massachusetts Buildings Dataset

Vaihingen Dataset

Massachusetts Buildings Dataset 分割结果图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉

(condition instance batchnorm)A LEARNED REPRESENTATION FOR ARTISTIC STYLE

分享一个不错的对batchnorm的解释https://blog.csdn.net/aichipmunk/article/details/54234646.作者...

682
来自专栏橙、

用Keras通过Python进行卷积神经网络的手写数字识别

图像识别是深度学习技术的一个普遍具有的功能。

9687
来自专栏数据派THU

教你在Python中用Scikit生成测试数据集(附代码、学习资料)

原文标题:How to Generate Test Datasets in Python with Scikit-learn 作者:Jason Brownlee...

3877
来自专栏ATYUN订阅号

深度学习中的动手实践:在CIFAR-10上进行图像分类

你想开始进行深度学习吗? 这有一篇关于Keras的深度学习的文章(地址见下方链接),对图像分类的神经网络做了一个总体概述。然而,它缺少一个关键的因素——实际的动...

3146
来自专栏贾志刚-OpenCV学堂

谷歌机器学习速成课程系列三

谷歌tensorflow官方推出了免费的机器学习视频课,总计25个课时,支持中英文语言播放、大量练习、实例代码学习,是初学tensorflow不机器学习爱好者必...

1422
来自专栏AI传送门

吊炸天的CNNs,这是我见过最详尽的图解!(下)

1855
来自专栏深度学习入门与实践

【深度学习系列】用PaddlePaddle和Tensorflow进行图像分类

  上个月发布了四篇文章,主要讲了深度学习中的“hello world”----mnist图像识别,以及卷积神经网络的原理详解,包括基本原理、自己手写CNN和p...

3985
来自专栏机器之心

入门 | 深度学习模型的简单优化技巧

以下是我与同事和学生就如何优化深度模型进行的对话、消息和辩论的摘要。如果你发现了有影响力的技巧,请分享。

1140
来自专栏集智的专栏

使用腾讯云 GPU 学习深度学习系列之三:搭建深度神经网络

本文进一步详细介绍了 Tensorflow 中 Keras 工具包提供的几种深度神经网络模块,包括其功能以及用途。

6.5K3
来自专栏应兆康的专栏

Accuracy

$A_{cc}=\frac{1}{n}\sum{I(\hat{y}_i=y_i)}$

581

扫码关注云+社区