好文速递：基于上下块的深度网络使用小波变换和连续多尺度云检测

Deep network based on up and down blocks using wavelet transform and successive multi-scale spatial attention for cloud detection

基于上下块的深度网络使用小波变换和连续多尺度云检测

From：西安大学

摘要:云检测不仅是一项具有挑战性的任务，而且在图像处理中也起着重要作用。由于云的多样性和下垫面的复杂性，目前大多数云检测方法仍然面临着很大的挑战，特别是在检测薄云方面。因此，我们提出了一种检测 GaoFen-1 WFV 图像中云像素的方法。在我们的方法中，使用深度网络来学习多尺度全局特征，从而将特征学习过程中获得的高级语义信息与低级空间信息相结合，从而将图像分类为云和非云区域。此外，为了充分利用图像的结构信息，特别是云的纹理信息，可以有针对性地学习，使用 Haar 小波变换设计 Up 和 Down 块。我们注意图像的原始信息，以帮助网络学习。此外，我们还利用暗通道先验并通过向网络中的多尺度特征图添加注意机制来设计连续多尺度空间注意模块，以提供一致的性能改进。实验结果表明，所提出的网络在不同场景下表现良好。

亮点:

1. 使用 Haar 小波可以提取更多云的纹理特征。
2. 从原始图像中收集足够的位置信息。
3. 我们先使用暗通道来辅助网络学习云特征。
4. 我们设计了连续多尺度空间模块来加强有用的信息。

方法:

（a）

为了建立一个编码器-解码器网络，我们基于Haar小波设计了Up块和Down块，本文将其称为UD-Net。我们将小波变换与深度学习神经网络相结合。网络可以提取云区域的纹理特征并自动学习云的特征。

（b）

强调原始图像的信息，这对图像分割的准确性至关重要。我们使用网络原始输入图像的不同采样率执行多孔卷积。具有不同采样率的无穷卷积可以有效地捕获多尺度信息，并实现对不同接收场云特征的学习。可以从原始图像中收集足够的位置信息。因此，它可以用来补充图像恢复过程中所缺乏的信息。

（C）

我们设计了连续多尺度空间模块，用于增强多尺度特征图的有用空间信息，抑制无效信息。它可以显着提高网络的效率和针对性。同时，我们使用He提出的暗通道先验学习网络。暗通道先验在云区表现出优异的特性，尤其是高对比度。在薄云区，与其他通道相比，它也显示出更高的亮度。暗通道先验可以清楚地区分云的像素和土地覆盖类型。因此，我们使用暗通道先验来辅助网络学习云的特征。我们先对多尺度暗通道的特征图执行关注模块，并强调有用信息，并在编码器路径中抑制特征图的无用信息。因此，它可以更好地引导网络在解码阶段分析从前几层传输的信息，显着提高算法的性能。

UD-Net 的结构。它由两条路径组成：编码器路径和解码器路径。这两条路径中对应相同尺寸特征图的两层对称处理，以更好的方式学习和恢复图像信息。

部分结果:

每个通道特征图和暗通道先验的比较。(a) 原始图像 (b) 地面实况图像 (c) 暗通道先验 (d) 红色波段 (e) 绿色波段 (f) 蓝色波段 (g) NIR 波段。应该注意的地方已经在图中圈出来了。

城市、水域、荒地、雪地、植被等各种场景下检测结果的视觉对比。(a) 输入图像。(b) 基本事实。(c) 编码器-解码器网络、(d) 提议的 UD-Net 和 (e) 提议的 UDI-Net 获得的检测结果。

引用格式:

Zhang J, Wang H, Wang Y, Zhou Q, Li Y. Deep network based on up and down blocks using wavelet transform and successive multi-scale spatial attention for cloud detection. Remote Sensing of Environment 2021; 261: 112483.

全文获取方式:

关注公众号“一个有趣的灵魂W”，回复“hw14”获取全文下载地址。