专栏首页AIWalkerOverNet | 速度快&高性能&任意尺度超分

OverNet | 速度快&高性能&任意尺度超分

标题&作者团队

paper:https://arxiv.org/abs/2008.02382

【Happy导语】该文提出了一种轻量型任意尺度超分方案,它将任意尺度数据制作思路引入到OSM设计中。作者通过实验证实了所提OSM的有效性,性能比MetaSR更高,速度更快。那么你还有什么理由不去了解一下呢?

Abstract

DCNN在超分领域取得了前所未有的成功,然而基于CNN的超分方法往往存在计算量过大的问题,同时大多模型仅能处理特定超分比例,进而导致泛化性能缺失,提升了内存占用需求(注:这里指的是模型部署过程中的模型大小)。为解决上述局限性,作者提出了OverNet,一种轻量型CNN网络用于单模型任意尺度图像超分。首先,作者引入一种轻量型递归特征提取器,它通过跳过链接、稠密连接进行特征的重复与有效应用;然而,为最大化特征提取器的性能,作者提出了一种高精度重建模块,它可以轻易嵌入到现有超分网络中并改进性能;最后,作者引入多尺度损失函数并获得了跨尺度泛化性能。

作者通过实验验证了所提方法的优异性能,具有更少的参数量、更优的性能。该文的主要贡献包含以下几点:

  • 一种轻量型递归特征提取器;
  • 一种过尺度模块用于生成过尺度特征并进而用于生成任意尺度输出,它可以有效提升模型的重建效果;
  • 一种新颖的多尺度损失函数,它可以同时进行单模型多尺度训练。

Method

image-20200809172045754

上图给出了该文所提OverNet的网络架构示意图,下图为该方案的训练过程。

image-20200809171918646

Feature Extractor

特征提取器是不同超分网络的关键区别,比如EDSR中的ResBlock,RCAN中RCAB,也就是说特征提取器直接决定了模型的最终性能。在该文中,作者基于ResBlock与递归结构构建了DenseGroup。

残差模块是图像超分领域应用最广的一个模块,作者在标准残差模块的基础上进行了改进:(1)引入通道注意力机制SE;(2)引入可学习尺度因子

\lambda

。改进残差模块描述:

x_o = \lambda_o SE(WA(x_i)) + \lambda_i x_i

作者将前述所提到的改进残差模块组合形成DenseGroup。DG的输入与第一个RB的输出进行concat并融入到1x1卷积,在DG中递归重复上述。通过上述方式,我们可以收集所有的局部信息并通过1x1卷积融合,最后采用额外的1x1卷积输出特征表达。

为提升模型的容量,作者对DG进行了与上述类似的递归操作,此外作者采用1x1卷积控制通道维度。通过上述跳过链接、稠密连接的组合,模型可以同时集成局部与全局特征。最终的输出特征为前述不同DG输出的组合:

f_D = conv_{1\times1}([f_0,\cdots,f_{D-1}])

为确保重建阶段没有信息损失,作者还添加了一个全局跳过连接,这个也是超分领域常用的一种结构,但该文与EDSR中的全局跳过连接还是有一些区别,看公式咯。

h = \lambda_0 f_D + \lambda_1 \sigma(conv_{1\times1}(GAP(conv_{3\times3}(I^{LR}))))

注:

\sigma

表示ReLU激活函数。个人感觉这里挺奇怪的,因为这会造成信息损失。一般在超分中为避免信息损失,这个全局跳过连接不会添加ReLU激活。奇哉怪哉。

Overscaling Module

前面的内容还是比较基本的网络结构方面的改进,而接下来要介绍的过尺度模块则是该文的核心,虽然看起来真的是非常简单。

为生成更精度且更少伪影的图像,作者提出了提出了过尺度模块,它基于这样的假设:过尺度可以为同一像素生成更多的值,这些值可以起到集成的作用,进而可以降低噪声。假设N为最大超分尺度,作者首先过尺度特征

H_{OHR}

,它的分辨率尺度为

N+1

。因此,基于所提取的特征h,作者采用3x3卷积+pixelshuffle得到过尺度特征:

H_{OHR} = pixelshuffle(conv_{3\times 3}(h))

为得到过尺度模块的最终输出,我坐着进一步引入第二个来自

I^{LR}

的全局跳过连接。最终的HR输出可以描述如下:

image-20200809180506190

因此,我们可以认为:整个网络的目标就是学习如何微调或者校正霜三次插值上采样的结果以更好的逼近真实HR图像。

Multi-scale Loss

作者提出最小化多尺度损失以优化OverNet,作者选用了有限数量的尺度因子

S=\{s_1 \cdots s_n\}

,一旦得到了最高分辨率HR图像,那么可以采用bicubic得到其他尺度的输出

\tilde{I}_s^{HR} = bicubic(\tilde{I}^{HR}, s)

,最后定义损失损失如下:

\mathcal{L} = \sum_{s \in S} \|\tilde{I}_s^{HR} - bicubic_{\downarrow}(I^{HR}, s) \|

不知道各位同学有没有发现:作者在这里设计的OSM模块非常巧妙,它是结合训练数据制作方式进行设计。真的是,简洁到家的代表。

Experiments

直接上实验结果了,下图对比了OverNet与MetaSR的效果对比。可以看到该文方法具有更优的性能;同时所提OSM模块比MetaSR模块性能更优。

image-20200809181151598

作者同时还对比了所提方法与其他超分方法的性能和计算量对比,见下表。

image-20200809182845723

作者同时还进行不同降质模型下的超分效果对比。

image-20200809181455266

image-20200809181556017

最后,作者还对比了不同超分方案的耗时(注:输入分辨率为256x192)对比,结果见下表。只能说:效果好且速度快的超分方案值得你拥有。更多实验结果与分析请查看原文。

image-20200809181635218

全文到此结束,对该文感兴趣的同学建议去查看原文。

本文分享自微信公众号 - AIWalker(happyaiwalker),作者:HappyAIWalker

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • ECCV2020|真实世界图像超分CDC|分而治之思想的探索应用

    该文提出了一个大尺度多样性的真实世界图像超分数据集DRealSR,同时提出了一种“分而治之”(Component Divide-and-Conquer, CD...

    AIWalker
  • 董超大神新作MS3Conv|多尺度卷积在图像超分中的应用探索

    多尺度技术在大范围CV领域取得了成功,然而在图像超分领域却鲜少有多尺度卷积的探索应用(好像一篇多尺度卷积哦,见文末)。在这篇文章中,作者提出了一种统一的多尺度...

    AIWalker
  • FDRNet|混合降质图像复原

    paper: https://arxiv.org/pdf/2007.11430.pdf

    AIWalker
  • 性能超FPN!北大、阿里等提多层特征金字塔网络

    特征金字塔网络具有处理不同物体尺度变化的能力,因此被广泛应用到one-stage目标检测网络(如DSSD,RetinaNet,RefineDet)和two-st...

    AI科技大本营
  • 【数据视觉盛宴】2017最美可视化作品欣赏

    “信息之美奖”全名为“凯度信息之美奖”(The Kantar Information is Beautiful Awards),是为了嘉奖信息与数据可视化的优秀...

    钱塘数据
  • 【LeetCode题解-009】Palindrome Number

    Determine whether an integer is a palindrome. An integer is a palindrome when it...

    周三不加班
  • 2013年多校 hdu 4602

    用户2965768
  • i系统写excel

    这里写excel采用了POI工具。表报导出excel有二种,一种是xls,一种是xlsl。 定义一个接口 ReportsToExcel

    东风冷雪
  • JClouds的命令行界面

    我已经使用JCloud(一种面向Java支持多种云的工具集)一年了。到目前为止,我已经在很多领域广泛地使用了JCloud,特别是在Fuse Eco...

    用户1191492
  • Qt实用技巧:使用OpenCV库的视频播放器

    使用OpenCV库的视频播放器(支持播放器操作,如暂停、恢复、停止、时间、进度条拽托等)。

    OpenCV学堂

扫码关注云+社区

领取腾讯云代金券