ECCV 2020 | 这个模型的脑补能力比GAN更强，ETH提出新型超分辨率模型SRFlow

选自arXiv

作者：Andreas Lugmayr等

编辑：小舟、魔王

近日，来自苏黎世联邦理工学院计算机视觉实验室的研究者提出了一种超分辨率模型 SRFlow。该模型具备比 GAN 更强的脑补能力，能够根据低分辨率输入学习输出的条件分布。该论文已被 ECCV 2020 收录。

超分辨率是一个不适定问题（ill-posed problem），它允许对给定的低分辨率图像做出多种预测。这一基础事实很大程度上被很多当前最优的深度学习方法所忽略，这些方法将重建和对抗损失结合起来，训练确定性映射（deterministic mapping）。

近日，来自苏黎世联邦理工学院计算机视觉实验室的研究者提出了一种新的超分辨率模型 SRFlow。该模型是一种基于归一化流的超分辨率方法，具备比 GAN 更强的脑补能力，能够基于低分辨率输入学习输出的条件分布。

• 论文地址：https://arxiv.org/pdf/2006.14200.pdf
• 项目地址：https://github.com/andreas128/SRFlow?

研究者使用单个损失函数，即负对数似然（negative log-likelihood）对模型进行训练。SRFlow 直接解释了超分辨率问题的不适定性，并学习预测不同逼真度的高分辨率图像。此外，研究者利用 SRFlow 学到的强大图像后验来设计灵活的图像处理技术，能够通过传输其他图像的内容来增强超分辨率图像。

该研究展示了基于人脸图像以及其他超分辨率图像实验，结果表明 SRFlow 在 PSNR 和感知质量度量上都优于当前最优的 GAN 方法，同时 SRFlow 允许探索超分辨率解空间，以实现生成图像的多样性。

下图展示了基于 GAN 的 ProgFSR 与基于归一化流的 SRFlow 的对比结果：

SRFlow 方法简介

研究者将超分辨率公式化为：给定低分辨率（LR）输入图像，学习高分辨率（HR）图像的条件概率分布问题。该方法旨在通过捕获基于自然图像流形的所有可能超分辨率（SR）图像，来明确地解决超分辨率问题的不适定性。

为此，研究者设计了条件归一化流架构，使用基于对数似然的训练来学习丰富的分布。

用于超分辨率的条件归一化流

条件流层

流层（flow-layer）f^n_θ 的设计需格外精细，以确保 well-conditioned inverse 和易于处理的雅可比行列式。[10,11] 首次解决了该挑战，最近也有很多研究者对此感兴趣 [5,14,21]。

该研究从无条件 Glow 架构 [21] 开始，该架构本身基于 RealNVP [11]。这些架构使用的流层可以以直接的方式设置为有条件的 [3,49]。研究者对其进行了概述，并介绍了该研究提出的 Affine Injector 层。

架构

SRFlow 的架构如图 2 所示：

应用和图像处理

随机超分辨率

LR 一致性风格迁移

潜在空间归一化

图像内容迁移

图像恢复

研究者将学得的图像后验应用于图像恢复任务，进而其能力。注意，此处研究者采用了相同的 SRFlow 网络，该网络仅针对超分辨率进行训练。研究者探索了对图像中的高频信息产生主要影响的因素，如噪声和压缩伪影。

实验

研究者将其提出的方法与当前 SOTA 方法进行了对比，并执行了控制变量分析。

人脸超分辨率

该研究基于 CelebA 测试集中的 5000 张图像，评估了 SRFlow 在人脸超分辨率图像任务中的性能，并与 bicubic、RRDB [47]、ESRGAN [47] 和 ProgFSR [19] 进行了对比。

通用超分辨率

研究者在 DIV2K 验证集上评估了 SRFlow 在通用超分辨率任务中的性能，并与 Bicubic、EDSR 、RRDB、ESRGAN 和 RankSRGAN 进行了对比。

与基于 GAN 的方法 [47,56] 相比，SRFlow 实现了明显更好的 PSNR、LPIPS 和 LR-PSNR 结果，并在 PIQUE 和 BRISQUE 方面也得到了出色的结果。

图 8 中的可视化结果表明，EDSR 和 RRDB 的感知效果较差，这些结果几乎不会产生高频细节。相比之下，与 ESRGAN 相比，SRFlow 能够生成丰富的细节，实现了良好的感知效果。

如第一行所示，ESRGAN 生成的图像在多个位置存在严重的褪色伪影（discolored artifact）和振铃效应（ringing pattern）。而 SRFlow 能够生成更加稳定和一致的结果。

控制变量研究

此外，为了研究深度和宽度这两个因素的影响，研究者进行了控制变量实验。图 9 显示了在 CelebA 数据集上的结果：