OverNet | 速度快&高性能&任意尺度超分

标题&作者团队

paper：https://arxiv.org/abs/2008.02382

【Happy导语】该文提出了一种轻量型任意尺度超分方案，它将任意尺度数据制作思路引入到OSM设计中。作者通过实验证实了所提OSM的有效性，性能比MetaSR更高，速度更快。那么你还有什么理由不去了解一下呢？

Abstract

DCNN在超分领域取得了前所未有的成功，然而基于CNN的超分方法往往存在计算量过大的问题，同时大多模型仅能处理特定超分比例，进而导致泛化性能缺失，提升了内存占用需求(注：这里指的是模型部署过程中的模型大小)。为解决上述局限性，作者提出了OverNet，一种轻量型CNN网络用于单模型任意尺度图像超分。首先，作者引入一种轻量型递归特征提取器，它通过跳过链接、稠密连接进行特征的重复与有效应用；然而，为最大化特征提取器的性能，作者提出了一种高精度重建模块，它可以轻易嵌入到现有超分网络中并改进性能；最后，作者引入多尺度损失函数并获得了跨尺度泛化性能。

作者通过实验验证了所提方法的优异性能，具有更少的参数量、更优的性能。该文的主要贡献包含以下几点：

• 一种轻量型递归特征提取器；
• 一种过尺度模块用于生成过尺度特征并进而用于生成任意尺度输出，它可以有效提升模型的重建效果；
• 一种新颖的多尺度损失函数，它可以同时进行单模型多尺度训练。

Method

image-20200809172045754

上图给出了该文所提OverNet的网络架构示意图，下图为该方案的训练过程。

image-20200809171918646

Feature Extractor

特征提取器是不同超分网络的关键区别，比如EDSR中的ResBlock，RCAN中RCAB，也就是说特征提取器直接决定了模型的最终性能。在该文中，作者基于ResBlock与递归结构构建了DenseGroup。

残差模块是图像超分领域应用最广的一个模块，作者在标准残差模块的基础上进行了改进：(1)引入通道注意力机制SE；(2)引入可学习尺度因子

。改进残差模块描述：

作者将前述所提到的改进残差模块组合形成DenseGroup。DG的输入与第一个RB的输出进行concat并融入到1x1卷积，在DG中递归重复上述。通过上述方式，我们可以收集所有的局部信息并通过1x1卷积融合，最后采用额外的1x1卷积输出特征表达。

为提升模型的容量，作者对DG进行了与上述类似的递归操作，此外作者采用1x1卷积控制通道维度。通过上述跳过链接、稠密连接的组合，模型可以同时集成局部与全局特征。最终的输出特征为前述不同DG输出的组合：

为确保重建阶段没有信息损失，作者还添加了一个全局跳过连接，这个也是超分领域常用的一种结构，但该文与EDSR中的全局跳过连接还是有一些区别，看公式咯。

注：

表示ReLU激活函数。个人感觉这里挺奇怪的，因为这会造成信息损失。一般在超分中为避免信息损失，这个全局跳过连接不会添加ReLU激活。奇哉怪哉。

Overscaling Module

前面的内容还是比较基本的网络结构方面的改进，而接下来要介绍的过尺度模块则是该文的核心，虽然看起来真的是非常简单。

为生成更精度且更少伪影的图像，作者提出了提出了过尺度模块，它基于这样的假设：过尺度可以为同一像素生成更多的值，这些值可以起到集成的作用，进而可以降低噪声。假设N为最大超分尺度，作者首先过尺度特征

，它的分辨率尺度为

。因此，基于所提取的特征h，作者采用3x3卷积+pixelshuffle得到过尺度特征：

为得到过尺度模块的最终输出，我坐着进一步引入第二个来自

的全局跳过连接。最终的HR输出可以描述如下：

image-20200809180506190

因此，我们可以认为：整个网络的目标就是学习如何微调或者校正霜三次插值上采样的结果以更好的逼近真实HR图像。

Multi-scale Loss

作者提出最小化多尺度损失以优化OverNet，作者选用了有限数量的尺度因子

，一旦得到了最高分辨率HR图像，那么可以采用bicubic得到其他尺度的输出

，最后定义损失损失如下：

不知道各位同学有没有发现：作者在这里设计的OSM模块非常巧妙，它是结合训练数据制作方式进行设计。真的是，简洁到家的代表。

Experiments

直接上实验结果了，下图对比了OverNet与MetaSR的效果对比。可以看到该文方法具有更优的性能；同时所提OSM模块比MetaSR模块性能更优。

image-20200809181151598

作者同时还对比了所提方法与其他超分方法的性能和计算量对比，见下表。

image-20200809182845723

作者同时还进行不同降质模型下的超分效果对比。

image-20200809181455266

image-20200809181556017

最后，作者还对比了不同超分方案的耗时（注：输入分辨率为256x192）对比，结果见下表。只能说：效果好且速度快的超分方案值得你拥有。更多实验结果与分析请查看原文。

image-20200809181635218

全文到此结束，对该文感兴趣的同学建议去查看原文。