HSI-DeNet：基于卷积神经网络的高光谱图像修复

2018_TGRS_HSI-DeNet: Hyperspectral Image Restoration via Convolutional Neural Network (华科-昌毅)

大家晚上好，今天分享一篇使用卷积神经网络(CNN)对高光谱图像修复的论文，本文在CNN的基础上，同时引入残差学习、扩张卷积和多通道滤波，得到HSI-DeNet网络，实现了去除HSI中的混合噪声：随机、结构条带、死线等。另外，为了能够同时得到较高的图像质量和量化指标，本文将所提网络引入到生成对抗网络中，得到HSI-DeGAN网络。

首先，HSI-DeNet的网络结构如下所示：

其中每个Block由卷积层，块归一化(BN)和激活函数(ReLU)三部分组成，如下图：

HSI-DeNet网络的输入是三维的高光谱数据，经过网络训练后得到其噪声，然后使用残差学习策略，得到最终的干净图像。在网络中还使用到了扩张卷积和多通道滤波，使用扩张卷积可以在不增加参数的前提下，扩大感受野，从而能够利用更多的局部和非局部信息，多通道滤波则可以增强对光谱信息的表示能力。另外，本文还使用了padding策略，使得在训练过程中，图像大小不发生改变，具体的参数如下表：

HSI-DeNet网络的优化是基于逐像素的损失函数，易于产生过度平滑的结果。为了利用图像层面上的先验信息，本文基于生成对抗网络(GAN)提出了一个新的网络HSI-DeGAN，主要思想是将HSI-DeNet作为生成网络，使用一个判别网络来判别真实数据和HSI-DeNet生成数据的真假，两者交替训练，最终达到两者的平衡，整体框架如下图：

判别网络的结构和参数如下表：

本文使用的数据集是来自包含201个场景的数据集ICVL，其大小是1392*1300*519，作者从中分别提取500张和50张大小为180*180*10子图用于训练和测试数据，并且对训练数据进行分块，块大小为4040，移动步长为40，从而每张子图可得到16个训练块，再进行8倍的扩增，于是最终训练数据数量有500*16*8=64000。

学习框架为MatConvNet，运行环境是Thepersonal computer with MATLAB 2014a, one Titan X GPU, an Intel i7 CPU at 3.6GHz, and 32-GB memory.

最后，我们看下实验结果，在仿真数据上的视觉效果为：

量化指标为：

在真实数据上的视觉效果为：