董超大神新作MS3Conv｜多尺度卷积在图像超分中的应用探索

标题&作者团队

paper: https://arxiv.org/abs/2008.00239

【Happy导语】该文是SRCNN的作者董超大神在图像超分领域的又一力作。这位大神在图像超分领域贡献了不少经典文档，比如SRCNN、FSRCNN、ESRGAN、EDVR、CResMD、RankSRGAN、TENet、AdaFM、IKC、DNI、RL-Restore、SFT等，可谓研究图像超分、图像复原领域的不可不知的大神，相应文章也是不可不读者。该文提出了一种“即插即用”MS3Conv用于图像超分，虽然本质上创新并不多，但实验分析做的还是非常不错，值得各位同学仔细研究一番。

Abstract

多尺度技术在大范围CV领域取得了成功，然而在图像超分领域却鲜少有多尺度卷积的探索应用(好像一篇多尺度卷积哦，见文末)。在这篇文章中，作者提出了一种统一的多尺度架构，并对多尺度卷积的两个因素(特征传播、跨尺度通信)进行了系统分析，并基于分析结果提出了多尺度卷积单元MS3Conv(Multi-Scale cross Scale Share-weights convolution)。

作者通过实验表明：相比标准卷积，MS3Conv可以取得更好的SR性能，同时具有更少的参数量和计算复杂度；除了定量对比外，作者还对比了MS3Conv超分的视觉效果，可以看到它可以更好的复原高频细节。

该文的贡献主要包含以下三点：

• 提出一种统一框架用于理解和设计多尺度卷积网络，它将OctConv、MSConv等统一到相同框架中并进行了对比说明；
• 基于前述所提MS3Conv进行了系统的探索，说明了MS3Conv的高效性；
• 通过定量与定性分析说明了MS3Conv的优异性能，MS3Conv有助于重建高频细节。

Method

Formulation

首先，作者从多分支角度对多尺度卷积提供了一种统一框架。为探索不同多尺度网络的区别所在，我们将多尺度特征视作多并行分支(见下图b)。

UNet

我们以最简单的UNet(尺度因子为2)为例进行说明，此时上述变换可以描述为：

从上述变换函数可以看到：UNet中不存在跨尺度特征通信。

OctConv

OctConv提出之时可谓反向剧烈，OctConv在这里可以描述成如下形式：

OctConv的变换函数中存在尺度内部变换以及尺度间变换，同时还存在跨尺度通信。这种处理方式不会造成参数量降低，但确实会减少计算量以及内存占用。

Multi-Grid Convolution

MGConv是一种转为多尺度特征而设计的模块，它将特征分成了三个尺度，对应的变换函数描述如下：

需要注意的是：MGConv只进行了近邻尺度的特征通信。

ScConv

ScConv是WDSR的作者提出的一种多尺度卷积，与该文存在异曲同工之妙。ScConv的流程图见下图，可以看到它与该文提到的MS3Conv是非常之相似。注：MS3Conv一文并未提到ScConv这个方法，这里是笔者添加的。

MS3Conv

前面已经介绍了与本文比较相似的几种多尺度卷积，那么接下来将逐步引出本文的MS3Conv。

首先，我们先看一下MS-Conv，它是一种双分支结构，且无跨尺度信息通信。MS-Conv这种改进可以降低计算复杂度，但会导致严重的性能下降。

为缓解上述问题，作者引入了跨尺度通信，这就与OctConv非常相似了。作者将这种形式称之为MS2Conv。基于MS2Conv，作者提出了一种多尺度跨尺度权值共享卷积，即MS3Conv。它的关键核心在于：保持跨尺度通信，但是进行尺度内卷积的权值共享。也就是说存在这样的关系：

作者采用1x1卷积而非3x3卷积(降低计算量)进行跨尺度通信，总而言之MS3Conv的变换函数可以描述为：

MS3Conv与OctConv的关键区别在于：(1) 尺度内卷积参数共享与否；(2) 跨尺度卷积的kernel尺寸。

Why？

这里将从空间冗余的角度出发探索多尺度的有效性，作者以扩张卷积为例进行说明，见下图。基于扩张卷积，不同的分支具有相同的结果、不同的感受野。

下图还给出了MS3Conv在超分中的视觉效果对比。可以看到基于MS3onv的超分效果更佳。

Experiments

直接上结果咯，训练细节感兴趣的同学建议去看原文。

下表给出了不同多尺度卷积的FLOPs、参数量以及PSNR对比。相比MSConv，MS2Conv取得了0.07dB的性能提升，代价则是4GFLOPs的计算量提升。

为验证性能提升是源自复杂度的提升还是跨尺度通信，作者进行了下图Fig5的实验，证实了MS-Conv的有效性；于此同时下表Table3给出了不同尺度数量时的性能对比，这个再一次与ScConv一文中的结果对应了起来，哈哈。

下表给出了所提方法与其他超分方法的性能对比，可以看到，在轻量型网络方面，所提方法具有更高的性能。

与此同时，作者还给出了将其嵌入到SRResNet与CARN中的性能对比，见下表。

最后，作者还给出了所提方法的视觉效果对比，可以看到基于MS3Conv的超分网络具有更好的纹理复原效果。

全文到此结束，感兴趣的同学建议去查看原文。