FDRNet｜混合降质图像复原

paper: https://arxiv.org/pdf/2007.11430.pdf

Abstract

混合降质图像复原(Hybrid-distorted Image Restoration, HDIR)有助于提升真实降质图像(真实降质往往包含多种类型的降质，且相互之间存在内在联系)的质量。现有的HDIR往往忽略了不同降质之间的内存关联性，从而导致相应方案存在一定的局限性，进而影响图像复原性能。

为更好的解耦不同降质之间的内在关联性，作者提出了解耦特征学习的概念以达成特征层面“分而治之”的目的。作者提出了特征解耦模块(通过增益)用于对不同降质的特征进行分离。作者同时还提出了一种特征即成模块，它采用通道注意力机制自适应过滤降质表达并对不同通道的有用信息进行即成。

作者通过特征的相关矩阵可视化以及不同降质的通道响应验证了所提方案的有效性，最后通过充分的实验验证了所提方法的优异性能。

该文的创新点包含以下几个方面：

• 作者通过特征解耦的方式对混合降质问题进行的特征层面的“分而治之”，作者设计了一种特征解耦模块将不同降质的特征表达拆分到不同通道；
• 作者基于特征解耦模块与特征集成模块设计了一种混合降质图像复原方案FDRNet；
• 作者通过实验证实FDRNet在混合降质问题中取得了SOTA性能，与此同时作者还通过消融实验与可视化验证了所提模块的有效性。

Method

按照上述分析，作者设计了上图所示的特征接口模块。从上图可以看到：每个特征解耦模块包含多个特征解耦层，而每个特征解耦层包含一个卷积层以及一个增益控制归一化模块。注：作者通过实验表明：三个特征解耦层即可取得最佳性能。

Feature Aggregation Module

下图给出了作者基于上述分析而设计的特征集成模块示意图。作者认为，在特征解耦过程中，特征不同通道的互信息有所损失，这会影响图像信息。为弥补该损失，作者采用ResBlock增强图像信息变换。

Whole Framework

为充分利用不同水平的特征信息，作者采用多级结构混合降质问题。下图给出了FDRNet的整体网络架构图。整个架构包含多相同的模块，每个模块包含两个分支：下分支用于特征解耦，上分支用于辅助并补偿下分支的信息损失。网络结构还算比较简单，看图即可明白，不过多介绍。

Experiments

首先，作者以DIV2K数据集为基础进行了实验了，混合降质包含噪声、模糊以及JPEG压缩伪影。下表与图给出了所提方法与其他方法的指标与视觉效果对比。

作者认为DIV2K测试图像的分辨率太低(DIV2K测试集的分辨率低吗？？？不低吧)，作者进一步在DID-Hy数据集上了进行实验对比，降质类型同前，结果如下。

与此同时，作者还在图像去模糊数据集Gopro上进行了实验分析，结果见下图。

全文到底结束，更多实验结果建议看原文。

Conclusion

该文提出了特征解耦模块以降低混合降质之间的内存关联性，所提方法在混合降质问题上取得了SOTA性能。与此同时，作者还通过消融实验与可视化分析验证了所提模块的有效性。

题外话

总的来说，这篇的论文的思路还是比较新奇的，提出了一种比较有意思的特征解耦模块。但美中不足的是实验对比方面。虽然混合降质问题研究的并不多，但并不是没有，而且几篇知名实验室的方法并未拿来进行对比，比如SIAT-SenseTime联合实验室的CResMD，再比如笔者之前分享过的USRNet一文。另外一点每种不足之处则是：代码未开源。

"复现有风险，入AI需谨慎"。