专栏首页我爱计算机视觉IEEE TMM 2020:细化超分辨网络,解决上采样引起的振荡

IEEE TMM 2020:细化超分辨网络,解决上采样引起的振荡

本文介绍IEEE TMM 2020 论文:用于解决上采样引起振荡的细化超分辨网络(Coarse-to-Fine CNN for Image Super-resolution),代码已开源

作者:田春伟,徐勇,左旺孟,张一博,费伦科,林嘉文

单位:哈工大&澳门大学&台湾清华大学

图像成像设备在拍照图像时常遭受到天气、硬件和环境等影响,导致拍摄出图像出现严重的失真,这严重限制后续高水平计算机视觉任务进行。现已有深度学习方法为了保证效率,一些方法都是通过在网络末端利用上采样操作来放大分辨率来获得高清图像,但这样操作会使训练过程发生振荡,从而使SR模型稳定性下降,这是真实相机设备无法容忍的。

对此,本文设计一种由粗到细的超分辨CNN(Coarse-to-fine SR CNN, CFSRCNN)用于解决这个问题。CFSRCNN根据SR任务的属性,通过充分利用网络层次低频特征和高频特征来增加SR模型的稳定性,同时该网络能在SR性能和效率之间做权衡。

1

工作原理

CFSRCNN的工作原理如下:

CFSRCNN由堆积的特征提取块FEBs, 增强块EB, 构造块CB和特征细化块FRB组成。随着网络深度增加,浅层对深层作用会减少。对此,FEBs利用异构卷积来学习局部特征并通过信号传递的思想来增加局部对全局的作用。

其中,异构卷积中的1x1卷积能对提取层次特征进行蒸馏来提高SR效率。但考虑反复地蒸馏可能使提取特征损失边缘信息,EB融合FEBs中除1x1卷积层外所有层输出信息来增强提取LR特征的鲁棒性。

由于利用上采样操作放大低分辨特征会造成突然振荡,使模型训练不稳定,同时放大过程使LR图像损失一些重要信息。对此,CB将FEBs中第一个FEB得到LR特征和EB得到LR特征分布经过上采样操作放大之后利用残差学习技术进行融合,这样能捕获互补的SR特征,有效地降低由上采样造成的信息损失。

之后,利用一个细化块FRB来学习更加准确的SR特征,这能增大被训练模型的稳定性。CSFCNN的网络结构图,如Figs.1和2所示:

所提出的CFSRCNN与以往SR网络有以下几点区别:

(1)流行的RDN, CSFM的超分辨方法,如Fig. 3都是将每一层作为后续所有层的输入,这大大增大训练时间。而仅仅融合FEBs中相邻FEB块输出特征来增强最后获得LR特征。

此外,使用由3x3和1x1组成的异构卷积代替堆积3x3卷积,在没有牺牲视觉质量情况下大大地降低网络的深度、复杂度和运行时间(CFSRCNN参数只有RDB的5.5%和CSFM的9.3%)

(2)EB模型使用残差学习技术代替流行的Concat操作,它能和FEBs互补来增强获得LR的鲁棒性。为了防止图像像素的过度增强,使用堆积多层来平滑所获得LR特征。

(3)利用残差学习和上采样操作集成全局和局部特征能防止由于突然放大像素而造成LR特征丢失。之后细化网络能使训练过程平稳并能提取更为精准的SR特征。

贡献:

(1)利用一个级联网络结构结合LR和HR特征来解决有上采样操作带来不稳定训练从而引起的性能下降问题。

(2) 基于异构卷积提出一种新的特征融合机制能有效地解决长期依赖问题和防止信息丢失。此外,在没有牺牲视觉质量的情况下,提升SISR性能。

(3)提出的CFSRCNN能在SISR实现良好性能和高的计算效率之间做一个权衡。

2

实验结果

(1)不同方法在Set5对于不同缩放因子的SISR性能

(2)不同方法在Set14对于不同缩放因子的SISR性能

(3)不同方法在B100对于不同缩放因子的SISR性能

(4)不同方法在U100对于不同缩放因子的SISR性能

(5)不同方法在720p对于不同缩放因子的SISR性能

(6)不同方法在缩放因子为2时恢复不同大小图像所利用时间

(7)不同方法在缩放因子为2时的SR模型复杂度

(8)不同方法在缩放因子为2时来自Set14的恢复高清图像可视化视觉

(8)不同方法在缩放因子为3时来自B100的恢复高清图像可视化视觉

(9)不同方法在缩放因子为4时来自U100的恢复高清图像可视化视觉

论文链接:

https://ieeexplore.ieee.org/document/9105085

https://www.researchgate.net/publication/341807125_Coarse-to-fine_CNN_for_image_super-resolution

代码链接:

https://github.com/hellloxiaotian/CFSRCNN

END

本文分享自微信公众号 - 我爱计算机视觉(aicvml),作者:CV君

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 数据 + 代码,基于 Keras 的烟火检测

    计算机视觉中的烟火检测是在监控视频或者图像中进行烟火图像分类或者烟火定位,在消防安全领域具有独特的意义。

    CV君
  • FaceBook开源PyTorch3D:基于PyTorch的新3D计算机视觉库

    3D 计算机视觉是一个重要的课题,如何选择合适的框架进行计算,使得处理效果更好、更高效?近日,FaceBook 博客更新了一篇新的文章,介绍了团队开发的针对 3...

    CV君
  • 复旦提出GaitSet算法,步态识别的重大突破!

    这两天专注介绍计算机视觉黑科技的52CV君发现一篇被AAAI2019录用的非常棒的复旦大学的文章!性能强悍到爆!

    CV君
  • httpclient爬虫爬取汉字拼音等信息

    下面是使用httpclient爬虫爬取某个网站的汉字相关信息的实践代码,中间遇到了一些字符格式的问题。之前被同事见过用html解析类来抓取页面信息,而不是像我现...

    FunTester
  • PNEN:金字塔结构与Non-local非局部结构联合增强,提升low-level图像处理任务性能

    现在,用于low-level图像处理任务的神经网络通常是通过堆叠卷积层来实现的,每个卷积层仅包含来自一个小范围的上下文信息。随着更多卷积层的堆叠,卷积神经网络可...

    AI算法修炼营
  • 分析和解决 JAVA 内存泄露的实战例子

    这几天,一直在为Java的“内存泄露”问题纠结。Java应用程序占用的内存在不断的、有规律的上涨,最终超过了监控阈值。福尔摩 斯不得不出手了!

    烂猪皮
  • ETH对比BTC有什么优点和缺点?

    比特币是以电子方式创建(挖掘)的最知名且最古老的独立数字支付手段。比特币不是物理打印的,而是由世界上许多用户使用计算机创建的,并存储在数字钱包中。 比特币与普通...

    首席架构师智库
  • Oracle 11g RAC oc4j/gsd Offline

        Oracle 11g RAC中,发现oc4j以及gsd服务都处于offline状态,这是Oracle 11g RAC默认情形。即便如此,并不影响数据库的...

    Leshami
  • 胖子哥的大数据之路(14):数据价值链模型

           Knowledge is also defined using taxonomy, with levels describing data, in...

    数据饕餮
  • 聊一聊数据库(MySQL)设计中的数据类型优化

    良好的逻辑设计和物理设计是高性能的基石,在进行数据库设计时,我们应该要考虑到未来将会执行的查询语句,这就需要对各种因素进行权衡。本文将会聊一聊数据库(MySQL...

    出其东门

扫码关注云+社区

领取腾讯云代金券