IEEE TMM 2020：细化超分辨网络，解决上采样引起的振荡

作者：田春伟，徐勇，左旺孟，张一博，费伦科，林嘉文

单位：哈工大&澳门大学&台湾清华大学

图像成像设备在拍照图像时常遭受到天气、硬件和环境等影响，导致拍摄出图像出现严重的失真，这严重限制后续高水平计算机视觉任务进行。现已有深度学习方法为了保证效率，一些方法都是通过在网络末端利用上采样操作来放大分辨率来获得高清图像，但这样操作会使训练过程发生振荡，从而使SR模型稳定性下降，这是真实相机设备无法容忍的。

对此，本文设计一种由粗到细的超分辨CNN（Coarse-to-fine SR CNN, CFSRCNN）用于解决这个问题。CFSRCNN根据SR任务的属性，通过充分利用网络层次低频特征和高频特征来增加SR模型的稳定性，同时该网络能在SR性能和效率之间做权衡。

1

工作原理

CFSRCNN的工作原理如下：

CFSRCNN由堆积的特征提取块FEBs, 增强块EB, 构造块CB和特征细化块FRB组成。随着网络深度增加，浅层对深层作用会减少。对此，FEBs利用异构卷积来学习局部特征并通过信号传递的思想来增加局部对全局的作用。

其中，异构卷积中的1x1卷积能对提取层次特征进行蒸馏来提高SR效率。但考虑反复地蒸馏可能使提取特征损失边缘信息，EB融合FEBs中除1x1卷积层外所有层输出信息来增强提取LR特征的鲁棒性。

由于利用上采样操作放大低分辨特征会造成突然振荡，使模型训练不稳定，同时放大过程使LR图像损失一些重要信息。对此，CB将FEBs中第一个FEB得到LR特征和EB得到LR特征分布经过上采样操作放大之后利用残差学习技术进行融合，这样能捕获互补的SR特征，有效地降低由上采样造成的信息损失。

之后，利用一个细化块FRB来学习更加准确的SR特征，这能增大被训练模型的稳定性。CSFCNN的网络结构图，如Figs.1和2所示：

所提出的CFSRCNN与以往SR网络有以下几点区别：

（1）流行的RDN, CSFM的超分辨方法，如Fig. 3都是将每一层作为后续所有层的输入，这大大增大训练时间。而仅仅融合FEBs中相邻FEB块输出特征来增强最后获得LR特征。

此外，使用由3x3和1x1组成的异构卷积代替堆积3x3卷积，在没有牺牲视觉质量情况下大大地降低网络的深度、复杂度和运行时间（CFSRCNN参数只有RDB的5.5%和CSFM的9.3%）

（2）EB模型使用残差学习技术代替流行的Concat操作，它能和FEBs互补来增强获得LR的鲁棒性。为了防止图像像素的过度增强，使用堆积多层来平滑所获得LR特征。

（3）利用残差学习和上采样操作集成全局和局部特征能防止由于突然放大像素而造成LR特征丢失。之后细化网络能使训练过程平稳并能提取更为精准的SR特征。

贡献：

（1）利用一个级联网络结构结合LR和HR特征来解决有上采样操作带来不稳定训练从而引起的性能下降问题。

（2） 基于异构卷积提出一种新的特征融合机制能有效地解决长期依赖问题和防止信息丢失。此外，在没有牺牲视觉质量的情况下，提升SISR性能。

（3）提出的CFSRCNN能在SISR实现良好性能和高的计算效率之间做一个权衡。

2

实验结果

（1）不同方法在Set5对于不同缩放因子的SISR性能

（2）不同方法在Set14对于不同缩放因子的SISR性能

（3）不同方法在B100对于不同缩放因子的SISR性能

（4）不同方法在U100对于不同缩放因子的SISR性能

（5）不同方法在720p对于不同缩放因子的SISR性能

（6）不同方法在缩放因子为2时恢复不同大小图像所利用时间

（7）不同方法在缩放因子为2时的SR模型复杂度

（8）不同方法在缩放因子为2时来自Set14的恢复高清图像可视化视觉

（8）不同方法在缩放因子为3时来自B100的恢复高清图像可视化视觉

（9）不同方法在缩放因子为4时来自U100的恢复高清图像可视化视觉

论文链接：

https://ieeexplore.ieee.org/document/9105085

https://www.researchgate.net/publication/341807125_Coarse-to-fine_CNN_for_image_super-resolution

代码链接：

https://github.com/hellloxiaotian/CFSRCNN

END