天降斯雨，于我却无！GAN用于去雨如何？

这次整理的是用GAN去雨的方向！来速览GAN怎么做的吧~

1. 2017-Image De-raining Using a Conditional Generative Adversarial Network

https://arxiv.xilesou.top/pdf/1701.05957.pdf

雨雪天气条件下，严重影响捕获的图像在视觉上的效果，使它们无法用于进一步的使用和共享。另外，这种劣化的图像极大地影响视觉系统的性能。因此，如何解决单图像去雨？这个问题是病态、不适定性的（ill-posed）。

本文试图通过附加约束条件来利用条件生成对抗网络（CGAN）的强大生成建模功能：该约束条件是去雨后的图像必须与其相应的GT清晰图像无法区分开。

除了提出一种去雨的新方法外，还在生成器－鉴别器对中引入了新的改进的损失函数和结构，以实现更好的结果：损失函数旨在减少GAN引入的伪像并确保更好的视觉质量；生成器子网是使用最近引入的密集连接的网络构造的，而鉴别器旨在利用全局和局部信息来确定图像是真实的还是伪造的。该方法单称为图像去雨条件生成对抗网络（ID-CGAN）。

该方法在合成图像和真实图像上进行的实验评估表明，在定量和视觉性能方面，优于许多最新技术。此外，使用FasterRCNN在目标检测数据集上评估的实验结果也证明，可以有效提高对带雨水图像的检测性能。

2. 2018-Attentive Generative Adversarial Network for Raindrop Removal from A Single Image https://arxiv.xilesou.top/pdf/1711.10098.pdf

附着在玻璃窗或相机镜头上的雨滴严重妨碍了背景场景的可见性，并大大降低图像质量。本文解决的问题是：通过视觉上去除雨滴。这是棘手的，因为被大片雨滴遮挡的部分未知的。

为了解决这个问题，使用的是带注意力的生成对抗网路。主要想法是将视觉注意力注入生成和对抗网络，在训练时，视觉注意力会了解雨滴区域及其周围的环境。因此，生成网络将更加关注雨滴区域和周围的结构，判别网络会评估恢复区域在图像中的一致性。

3. 2019-04 Heavy Rain Image Restoration: Integrating Physics Model and Conditional Adversarial Learning

https://arxiv.xilesou.top/pdf/1904.05050.pdf

大多数去雨工作都集中在去除雨水条纹上，它们不能充分处理大雨图像。在大雨中，不仅条纹可见，还伴随浓密的雨水连片或雨罩效应，使得整个场景模糊。

本文提出一种解决这些问题的新方法。提出一个两阶段的网络：一个physics-based的主干网络，然后是深度引导的GAN细化网络。

第一阶段估算rain streaks、transmission和atmospheric light，即估计出由潜在物理属性控制的雨点集合S、transmission map T、环境光强A。为了更可靠地找出这些分量，使用了filtering框架将图像分解为低频分量和高频分量。filtering的过程由没有雨的残差图像指导，该图像以空间变化的方式为两个通道设置passband，使得背景细节不与雨纹混为一体。

对于第二阶段，即细化阶段，引入深度引导的GAN，以恢复第一阶段未能检索到的背景细节，并纠正该阶段引入的伪像。

4. 2019-10 Gradient Information Guided Deraining with A Novel Network and Adversarial Training

https://arxiv.xilesou.top/pdf/1910.03839.pdf

近年来，基于深度学习的方法在去雨方面取得了重大进展。然而，现有方法通常没有很好的泛化能力：几乎所有现有方法在去除特定类型的雨水条纹方面都具有令人满意的性能，但在其他类型的雨水条纹上可能具有相对较差的性能。在本文中，为了从单图像中消除多种类型的雨水类型，提出了一种新颖的去雨框架（GRASPP-GAN）、具有更好的泛化能力。

具体而言，经过修改的ResNet-18提取了雨天图像的深层特征，并修改了ASPP结构，以适应雨滴条纹的各种形状和大小，从而构成了网络的骨干。考虑到降雨处的梯度更突出的特点，引入了梯度损失以帮助监督训练过程，为此，构建了Sobel卷积层以灵活地提取梯度信息。为进一步提高性能，采用了对抗性学习方案来训练网络。

在真实数据集和合成数据集上进行的大量实验表明了方法的先进性。此外，在不做任何修改的情况下在除雾方面也实现了良好的视觉效果。

5. Single Image Deraining: From Model-Based to Data-Driven and Beyond

https://arxiv.xilesou.top/pdf/1912.07150.pdf

单图像去雨的目标是：把受雨水条纹和雨水大片累积影响的图像区域恢复干净、清晰。早期方法采用代价函数的优化方法，并发展了各种先验知识来表示雨和背景场景层的特征。自2017年以来，单图像去雨方法进入了一个深度学习时代：它们建立在深层学习网络上，即卷积神经网络、递归神经网络、生成性对抗网络等，并显示出令人印象深刻的性能。鉴于目前的快速发展，本文对近十年来的去雨方法进行了全面的综述。

本文讨论了两类去雨方法：基于模型的方法和数据驱动的方法。基于模型的方法分为：稀疏编码和GMM方法。基于数据驱动的方法分为：deep CNN、生成性对抗网络和半/无监督学习方法，讨论了一些关于深度学习的想法，即模型架构、约束、损失函数和训练数据集。

本文展示了单图像去雨方法的里程碑式工作、回顾了不同类别的大量工作，并提供了从基于模型的方法到数据驱动方法的历史发展路线的描述。也在性能比较上进行了定性和定量的总结。

=====先写到这吧