【知识星球】图像降噪模型和数据集内容开启更新，经典问题永垂不朽！
【知识星球】图像降噪模型和数据集内容开启更新，经典问题永垂不朽！
欢迎大家来到《知识星球》专栏，这里是网络结构1000变小专题，今天介绍的是我们知识星球图像降噪模型和数据集相关专题上线。
作者&编辑 | 言有三
1 图像降噪问题
图像降噪是深度学习中一个看似小众，但是却非常经典而且潜力巨大的问题，目前的研究虽然在仿真数据集上取得了不错的效果，但是在真实数据集上的研究刚刚起步，深度学习还大有可为！
另一方面，以去雨去污垢等为代表的应用也属于图像降噪问题，研究离实际应用落地还很远，我们星球开启相关的网络结构和数据集内容更新了，值得大家关注。
有三AI知识星球-网络结构1000变
DncNN
DncNN是深度学习图像降噪中一个非常经典的模型，它不是恢复无噪声图，而是估计噪声残差。
作者/编辑 言有三
图像降噪任务输入有噪声图像，输出无噪声图像，一般来说基于深度学习进行图像降噪任务训练时会使用对称的编解码结构，使用仿真的高斯白噪声和MSE损失，如下图所示：
而这里的DncNN模型则采用了一种不同的思路，不是直接输出去噪图像，而是预测残差图像，即噪声观察和潜在的干净图像之间的差异，网络结构如上，损失函数如下：
这个方法将图像去噪视为一种判别学习问题：即通过卷积神经网络将图像与噪声分离，从而可以进行盲高斯去噪。所谓盲高斯去噪，就是说未知的高斯噪声水平。
在每一层的卷积之前进行0填充，该模型架构中间层的每个特征图都和输入图像大小相同。简单的零填充策略不会导致任何边界伪影，这对于图像降噪问题来说也是非常重要的。
现有的判别式高斯去噪方法，如MLP，CSF和TNRD，都训练了固定噪声水平的特定模型。当应用于具有未知噪声的高斯去噪时，一种常见的方法是首先估计噪声水平，然后训练有相应噪声水平的模型，这使得去噪结果受到噪声估计精度的影响。
而此方法在训练阶段使用来自各种噪声水平的噪声图像来训练单个DnCNN模型，不需要估计其噪声水平。并且结构非常简单，是一个很有效的模型。
上图展示了学习到的残差和去噪案例，下图展示了一些实际的去噪样本，效果还是很明显的。GitHub上开源实现非常多，大家可以自行尝试。
[1] Zhang K, Zuo W, Chen Y, et al. Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3142-3155.
有三AI知识星球-网络结构1000变
Attentive Generative Adversarial Network for Raindrop Removal
Attentive Generative Adversarial Network for Raindrop Removal是一个Attention机制与GAN的结合，在判别器和生成器中同时使用Attention机制学习定位雨点信息，利用GAN网络补全被雨点覆盖的区域，获得了很好的结果。
作者/编辑 言有三
首先看生成器，包含attentive-recurrent network(注意力循环网络)和a contextual autoencoder(多尺度编解码器)。
注意力循环网络使用一个循环网络来提取目标区域，每一个注意力模块都包含了5个ResNet模块，一个LSTM单元，一个卷积层。
每一个注意力模块的输入是特征图和Attention Map进行Concat，第一个模块则是输入图和初始化为0.5的Attention Map进行Concat，这一部分的MSE损失如下：
其中At就是Attention Map，而M就是有雨点图和对应无雨点图的二值化后的差值Mask。
这样的LSTM循环网络重复N个时间步长后，逐渐学习定位到雨滴区域，下图展示了不同epoch的最后Attention Map的输出。
下面再看contextual autoencoder，它将输入图像和注意力分布图Concat后作为输入，应用基于跳层连接的编解码结构。其损失包含两部分，多尺度的编解码损失和感知损失。
多尺度的编解码损失就是在不同尺度上计算生成图和对应尺度真值图的MSE差异，用了原尺寸的1/4、1/2和1三个尺度。
感知损失利用了一个预训练好的VGG模型来进行计算。
而判别器，也使用了注意力机制，从判别器中间某层提取特征输入CNN获得Attention Map，在输入下一层之前将其与判别网络的原始特征相乘从而引导判别器将注意力集中在Attention Map所指定的区域上。
具体的损失函数如下：
Lmap就是添加的Attention Map的损失，包含生成图O和真实无雨滴图R两部分的MSE损失。
那么最终的效果如何呢？
上面第一幅图是和一些主流方法的对比，第二幅图是采用不同模块的本方法自身对比，A表示单独编解码结构，A+d表示编解码结构+判别器，A+ad表示编解码结构+判别器+编解码结构添加注意力机制，Aa+AD是完整结构。
以上的实验对比完全验证了本模型设计思想的有效性与相对于其他方法能够更好的去除雨点。
[1] Qian R, Tan R T, Yang W, et al. Attentive generative adversarial network for raindrop removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2482-2491.
有三AI知识星球-数据集
RENOIR Dataset
RENOIR是一个真实的图像降噪数据集，包含了3个子数据集，分别是Xiaomi Mi3，Canon S90，Canon T3i拍摄，拥有低噪和高噪对比图。
作者/编辑 言有三
数据集地址：http://ani.stat.fsu.edu/~abarbu/Renoir.html，发布于2014年。
RENOIR是一个真实的图像降噪数据集，用Xiaomi Mi3，Canon S90，Canon T3i拍摄。低噪声图像，也就是被当作groundtruth的图像，是使用低ISO采集的，通常也具有较长的曝光时间，高噪声图像则是使用两档更高ISO的设备采集的，具体配置如下：
对于低噪声图像来说，同样的配置采集两次，一幅是最开始，另一幅是采集完高噪声图像后再采集，如果PSNR低于34，则该图就会被丢弃。
[1] Anaya J, Barbu A. RENOIR–A dataset for real low-light image noise reduction[J]. Journal of Visual Communication and Image Representation, 2018, 51: 144-154.
2 如何掌握网络设计和数据使用
关于如何系统性学习网络结构设计和数据使用，可以阅读我们对星球生态的介绍，有三风格的干货，相信你不会失望。
有三AI知识星球的内容非常多，大家可以预览一些内容如下。
