本文以图像降噪为聚焦,从网路架构设计&训练数据合成出发,对盲图像超分发起了挑战:
从MAP(Maximum A Posteriori)角度出发,盲图像降噪可以描述为如下优化问题:
也就是说,盲降噪的关键在于退化过程的建模与先验信息的设计。对于深度盲降噪而言,其建模能力依赖于网络架构、模型大小以及训练数据,即退化过程已通过训练数据进行了隐式定义。也就是说,网络架构与训练数据是改善深度盲降噪模型的两个关键因素。
事实上,真实场景图像可能进行了多次resize和JPEG处理,而且两者的处理顺序不定。受此启发,我们最终的退化序列采用了双退化策略与随机置换策略(见上图)。经此处理,退化空间得到了大大扩展,这有助于提升深度盲降噪模型的泛化性能。具体来说,我们添加了两次噪声添加与resizing操作;高斯噪声与JPEG压缩噪声的添加概率为1,resizing与其他类型噪声添加概率为0.5;在执行退化之前,我们先对退化序列进行随机置换。
上图给出了一些所提方案合成的noisy/clean图像对比,可以看到:该方案可以生成非常真实的噪声图像;由于clean图像也进行了resizing操作,所以clean图像块中可以看到一定程度模糊。相比BSRGAN与Real-ESRGAN中的退化方式,所提退化至少有以下三个不同:
上表&图给出了灰度图像降噪方面的指标与效果对比,可以看到:
上表&图给出了彩色噪声移除方面的对比,可以看到:
上表还从参数量、FLOPs以及推理耗时角度对DRUNet、SwinIR以及SCUNet进行了对比,可以看到:SCUNet具有最低的FLOPs、最佳的FLOPs、推理耗时以及参数量方面的均衡。需要注意的是,SCUNet的推理耗时可以通过高效实现进一步降低。
上面两图为真实场景图像降噪效果对比,从中可以看到:SCUNet与SCUNetG在噪声移除与细节保持方面取得了最佳结果。总而言之,所提训练数据合成方案适合用于实际应用场景的盲降噪模型训练。