卫星图像分割--Effective Use of Dilated Convolutions for Segmenting Small Object Instances

Effective Use of Dilated Convolutions for Segmenting Small Object Instances in Remote Sensing Imagery https://arxiv.org/abs/1709.00179

针对卫星图像中的小目标分割问题,本文从 dilated convolution 的有效使用给出了解决方法,主要是 先 increasing dilation factor,再 decreasing dilation factor

卫星图像分割和普通图像分割是有明显的差异性的,如下图所示:

卫星图像的特征有以下两点: 1)Size of objects 目标的尺寸很小 2)Layout of objects 目标的排列很密集

为了分割出这些密集的小目标,图像中一个很重要的信息就是 context 周边信息。文献【26】指出在CNN中 context 对于识别小目标的主要性。尽管降采样层对于增加感受野是有帮助的,但是他们忽视了另一个重要的因素:resolution。分辨率对于解决密集小目标分割是很重要的。但是降采样层会导致CNN网络中特征图尺寸越来越小,这些小的特征图导致小目标信息的丢失。即使通过其他一些补偿如:skip connections [1, 5] or hypercolumns [6, 21] 也难以解决问题。所以我们需要在增加感受野的同时保持特征图的分辨率。

dilated convolutions 是一个不错的方法,它可以保持分辨率不变,但是目前dilated convolutions 使用方法不能很好的分割 小目标, aggressively increasing dilation factors fails to aggregate local features of small objects. This means that whereas increasing dilation factors is important in terms of resolution and context, it can be detrimental to small objects. This is especially undesirable for remote sensing scenario.

We solve this problem by simply going against the tide—decreasingly dilated convolutions.

Overview of the proposed network architecture

网络包括三个模块:front-end module, local feature extraction (LFE) module and head module 3.2. Front-end module The front-end module is designed to extract features that cover large context, and thus the dilation factors are gradually increased 这个模块主要负责提取好的特征,主要使用递增的 dilation factors 来增加感受野来得到更大的 context there are two problems concerning sparsity in dilated kernels.

3.3. Local feature extraction module LFE module 主要是解决 front-end module 的问题。大量使用 dilated convolution 造成了两个问题 (1) spatial consistency between neighboring units becomes weak 相邻神经元直接的空间联系变弱 (2) local structure cannot be extracted in higher layer. 在后面的网络层提取不到图像中的局部结构信息

Problem on spatial inconsistency: We can see that information pyramids of two adjacent units do not overlap due to the sparse connections of the dilated kernels 从上图我们可以看出因为 dilated kernels 中的稀疏连接,导致相邻神经元没有联系 In the case of the dilation factor of 2, two neighboring units have non-overlap information pyramids, and as we increase the dilation factor, number of neighboring units which have non-overlap information pyramids grows larger. 当我们增加 dilation factor 时, 没有联系的神经元空隙会变大。

造成的后果就是分割结果有锯齿现象。 this causes spatial inconsistency between neighboring units and causes serious jaggy patterns in final output maps

Problem on local structure extraction: 上图的右边显示,网络前面层中间神经元的不联系导致网络后面层神经元之间不联系,局部结构信息的丢失 information pyramids do not overlap for two adjacent units in bottom most layer. All units in top most layer receive information from either of the two units, but not both. This means that all units in top most layer are unaware of local structure inside the two units.

Local feature extraction module: 解决的方法就是 先 increasing dilation factor,再 decreasing dilation factor

3.4. Post-processing 直接用二值化得到分割结果

4 Experiments Toyota City Dataset

Relative improvements

不同模型的效果对比

Massachusetts Buildings Dataset

Vaihingen Dataset

Massachusetts Buildings Dataset 分割结果图

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学学习手札

(数据科学学习手札40)tensorflow实现LSTM时间序列预测

  上一篇中我们较为详细地铺垫了关于RNN及其变种LSTM的一些基本知识,也提到了LSTM在时间序列预测上优越的性能,本篇就将对如何利用tensorflow,在...

4004
来自专栏marsggbo

DeepLearning.ai学习笔记(四)卷积神经网络 -- week3 目标检测

一、目标定位 这一小节视频主要介绍了我们在实现目标定位时标签该如何定义。 ? 上图左下角给出了损失函数的计算公式(这里使用的是平方差) 如图示,加入我们需...

2056
来自专栏杨熹的专栏

[图解DS基础概念]Critical value,Alpha,Z-score,P-value 关系

参考 ? ---- critical value 临界值 +-1.96 叫 critical value 临界值,是拒绝域的边界: 例如某个实验中计算出 z s...

3986
来自专栏ATYUN订阅号

深度实践:如何用神经网络给黑白照片着色

现如今,将图片彩色化是通常用Photoshop处理的。一幅作品有时候需要用一个月的时间来着色。可能单单一张脸就需要20层的粉色、绿色和蓝色阴影才能让它看起来恰到...

2897
来自专栏专知

【专知-Java Deeplearning4j深度学习教程04】使用CNN进行文本分类:图文+代码

【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视...

2.5K7
来自专栏Petrichor的专栏

图像处理: 超像素(superpixels)分割 SLIC算法

超像素概念是2003年Xiaofeng Ren提出和发展起来的图像分割技术,是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。它利...

6073
来自专栏梦里茶室

西瓜书概念整理(chapter 1-2)熟悉机器学习术语

括号表示概念出现的其他页码, 如有兴趣协同整理,请到issue中认领章节 完整版见我的github:ahangchen 觉得还不错的话可以点个star ^_^ ...

42810
来自专栏计算机视觉

(condition instance batchnorm)A LEARNED REPRESENTATION FOR ARTISTIC STYLE

分享一个不错的对batchnorm的解释https://blog.csdn.net/aichipmunk/article/details/54234646.作者...

1002
来自专栏深度学习入门与实践

【深度学习】用PaddlePaddle进行车牌识别(二)

  上节我们讲了第一部分,如何用生成简易的车牌,这节课中我们会用PaddlePaddle来识别生成的车牌。 ---- 数据读取   在上一节生成车牌时,我们可...

5128
来自专栏机器学习算法原理与实践

scikit-learn K近邻法类库使用小结

    在K近邻法(KNN)原理小结这篇文章,我们讨论了KNN的原理和优缺点,这里我们就从实践出发,对scikit-learn 中KNN相关的类库使用做一个小结...

633

扫码关注云+社区