真实用！ETH团以合成数据+Swin-Conv构建新型实用盲图像降噪

本文以图像降噪为聚焦，从网路架构设计&训练数据合成出发，对盲图像超分发起了挑战：

• 关于网络架构设计的动机在于：SwinIR与DRUNet采用两种不同的架构理念达成了非常优秀的性能，是否有可能对两者集成进一步提升PSNR性能呢？
• 关于训练数据合成的动机在于：尽管有不少方案在强调退化模型的重要性，但主要聚焦于传感器噪声移除，如何通过改进训练数据达成更优秀的盲去噪性能呢？

1Method

从MAP(Maximum A Posteriori)角度出发，盲图像降噪可以描述为如下优化问题：

也就是说，盲降噪的关键在于退化过程的建模与先验信息的设计。对于深度盲降噪而言，其建模能力依赖于网络架构、模型大小以及训练数据，即退化过程已通过训练数据进行了隐式定义。也就是说，网络架构与训练数据是改善深度盲降噪模型的两个关键因素。

Swin-Conv-UNet

Training Data Synthesis

事实上，真实场景图像可能进行了多次resize和JPEG处理，而且两者的处理顺序不定。受此启发，我们最终的退化序列采用了双退化策略与随机置换策略(见上图)。经此处理，退化空间得到了大大扩展，这有助于提升深度盲降噪模型的泛化性能。具体来说，我们添加了两次噪声添加与resizing操作；高斯噪声与JPEG压缩噪声的添加概率为1，resizing与其他类型噪声添加概率为0.5；在执行退化之前，我们先对退化序列进行随机置换。

上图给出了一些所提方案合成的noisy/clean图像对比，可以看到：该方案可以生成非常真实的噪声图像；由于clean图像也进行了resizing操作，所以clean图像块中可以看到一定程度模糊。相比BSRGAN与Real-ESRGAN中的退化方式，所提退化至少有以下三个不同：

• 应用不同：本文方案用于图像降噪，而另外两个用于图像超分；
• 该方案还对高质量图像执行resizing处理，另外两个不做该处理；
• 该方案采用了更多种类型的噪声。

2Experiments

上表&图给出了灰度图像降噪方面的指标与效果对比，可以看到：

• 相比其他方案，在所有噪声强度下SCUNet均取得了大幅PSNR指标提升；
• SCUNet分别超过DnCNN、IRCNN、FFDNet指标达0.6dB@Set12、0.3dB@BSD68、1.6dB@Urban100；相比DAGL、DRUNet以及SwinIR，SCUNet的指标提升相对小一些；
• 由于Urban100存在丰富的重复性结构，该数据集上的指标大幅提升说明SCUNet具有优异的非局部建模能力。
• 相比其他方案，SCUNet生成结果具有更佳的视觉效果。

上表&图给出了彩色噪声移除方面的对比，可以看到：

• SCUNet再一次取得了整体最佳性能；
• 相比DnCNN、IRCNN、FFDNet、DSNet，SCUNet的指标提升达0.5dB@CBSD68、0.7dB@Kodak24、1.1dB@McMaster、1.6dB@Urban100；
• 相比其他方案，SCUNet重建结果具有更好地纹理与锐利度。

上表还从参数量、FLOPs以及推理耗时角度对DRUNet、SwinIR以及SCUNet进行了对比，可以看到：SCUNet具有最低的FLOPs、最佳的FLOPs、推理耗时以及参数量方面的均衡。需要注意的是，SCUNet的推理耗时可以通过高效实现进一步降低。

上面两图为真实场景图像降噪效果对比，从中可以看到：SCUNet与SCUNetG在噪声移除与细节保持方面取得了最佳结果。总而言之，所提训练数据合成方案适合用于实际应用场景的盲降噪模型训练。