腾讯图像超分辨率算法RealSR,开源了

腾讯开源

发布于 2020-09-03 10:40:15

2.6K0

发布于 2020-09-03 10:40:15

近日，腾讯优图实验室提出一种新的图像超分辨率算法RealSR并开源。该算法在CVPR-NTIRE-2020真实图像超分比赛中以明显优势获得双赛道冠军。

赛事介绍

在2020年的NTIRE真实图像超分比赛中，腾讯优图团队参加Image Processing artifacts及Smartphone Images两个Track均以明显优势获得第一名。NTIRE比赛是图像增强领域的权威赛事(https://data.vision.ee.ethz.ch/cvl/ntire20/)，由ETH Zurich（苏黎世联邦理工学院）的Computer VisionLaboratory组织，和CVPR共同举办。其中真实图像超分比赛专注于无监督超分技术（更贴合真实场景需求），吸引了包括INRIA, 北京大学等国内外知名研究机构及高校, 以及Samsung, Huawei等关注移动设备超分的国内外公司参与。

比赛获奖证书

超分辨率是什么

超分辨率是指将低质量压缩图片恢复成高分辨率图片的过程。随着移动互联网的快速发展，智能设备逐渐普及到生活的每个角落。随之而来的是大量真实的图像数据，由于存储和传输的需要，这些图片的质量会被压缩，为了使用户获得更加高质量的视觉体验，图像恢复/超分辨率算法应运而生。超分辨率作为一项底层视觉任务，其重要性毋容置疑，最直观的效果就是人眼感官质量的提升。如下图所示，左边是一张LR图片，右边分别是三种不同方法的对比（最右边是我们提出的RealSR方法结果），可以看到RealSR在模糊/噪声的去除表现上，明显优于当前最优开源方法EDSR/ZSSR，获得了更加清晰/无噪的高分辨率结果。

RealSR和已有方法对比

算法创新设计

与已有的超分辨率方法相比，RealSR的创新主要体现在三个方面：

1. RealSR采用了自主设计的新型图片退化方法，通过分析真实图片中的模糊和噪声，模拟真实图片的退化过程

2. 不需要成对的训练数据，利用无标记的数据即可进行训练。

3. 可以处理低分辨率图像中的模糊噪声问题，得到更加清晰干净的高分辨结果。

算法的主要步骤可以分为两个模块：退化模型的估计，超分模型的训练。方法框架如下图所示

RealSR算法框架

比赛官方结果

在官方汇报的比赛结果中，RealSR队伍（Impressionism）在合成数据和真实数据两个赛道上均获得了第一名。Track 1主办方评价说，RealSR生成的结果几乎没有噪声，甚至在视觉效果上超过了监督方法，是真实图像超分研究的一个里程碑式的创新。Track 2主办方评价，相比于其他参赛者方法，RealSR生成了更加清晰更加干净的结果，在MOR视觉得分上以较大优势领先。