ECCV2020|真实世界图像超分CDC｜分而治之思想的探索应用

标题&作者团队

paper: https://arxiv.org/abs/2008.01928

Code: https://urlify.cn/RZjuQz

Abstract

该文提出了一个大尺度多样性的真实世界图像超分数据集DRealSR，同时提出了一种“分而治之”(Component Divide-and-Conquer, CDC)的超分网络，它探索了low-level图像成分引导的图像超分。DRealSR克服了传统合成图像降质的局限性，构建了一个新的多样性的图像超分基准数据集。一般而言，不同区域的图像超分目的存在一定差异性：平坦区域的平滑性，边缘区域的锐利度，纹理区域的增强性。传统的L1/L2损失超分模型性容易受平坦区域和边缘区域主导，进而导致难以很好的复原复杂纹理。

作者提出了一种“分而治之”的模型与梯度加权损失用于图像超分，该CDC将图像拆分为三个成分并采用三个CABs学习注意力mask以及中间超分结果，同时采用“分而治之”的学习方式。所提GW损失同时提供了一种灵活的策略平衡图像不同成分的训练难度。最后作者通过充分的实验验证了所提方案的优异性能。

该文的主要贡献包含以下几点：

• 一个大尺度真实世界超分数据集；
• 一种“分而治之”的图像超分模型；
• 一种梯度加权损失函数。

Dataset

为什么要重新构建一个真实世界超分数据集呢？这是因为现有图像超分模型训练往往采用合成数据(bicubic降质)，而真实世界数据往往复杂的多。它不仅存在降质类型的多样，还存在跨设备的多样性。

鉴于此，作者采用5个数码相机(佳能、索尼、尼康、松下，Olympus)采集自然场景数据(包含室内与室外场景)，采用SIFT进行对齐，同时还对LR与HR图像的亮度进行了校正。

注：该数据集已经开源，在官方代码主页上有，链接为：https://pan.baidu.com/share/init?surl=ey9JF4S5wLnE5Iw5z67R8A，提取码：osiy。有需要的同学可以与笔者联系哦，公众号后台留言即可。

CDCSR

前面已经提到：不同区域的超分目标是不同的，传统的“一视同仁”的L1/L2损失往往会受平坦区域和边缘区域主导，而忽视了纹理细节区域。下图给出了不同区域的重建难度示意图，由于图像中包含大量的平坦区域与边缘区域，这就导致了图像过过度拟合这些区域，从而导致生成的图像比较模糊。

image-20200806203648569

考虑到不同区域的重建难度问题，作者构建了一种HGSR网络，见下图。它采用分而治之的思想对图像的不同区域进行不同的监督处理，同时为不同区域赋予不同的梯度加权损失。

image-20200806203150699

从上图可以看到：它将网络的不同阶段赋予不同的语义信息，比如底层的平坦，中层的边缘，高层的纹理+角点等等。在训练过程中对不同区域添加不同的监督信息。整体的损失函数定义如下：

image-20200806204233268

Hourglass SRNet

写到这里突然不想继续往下写了，因为网络架构方面的东西真的好简单。就简单的介绍一下该文的Hourglass模块吧，见下图。可以看到：它其实就是在UNet的基础上进行了特殊处理。

image-20200806204405951

Experiments

直接上结果吧，不再介绍了，感兴趣的同学建议看原文。下表给出了所提方法、所提数据集交互验证时的性能对比。注：这里进行的两种真实世界超分数据集。

image-20200806204650775

下图给出了超分的视觉效果对比。

image-20200806204929354

最后，作者给出了所提超分网络与其他超分网络在合成数据与DRealSR上的性能对比。

image-20200806205012592

全文到此结束吧，感兴趣的同学请去查看一下原文吧，原文还是挺不错的，哈哈。