视频超分｜SOF-VSR

AIWalker

发布于 2020-07-31 17:09:19

1.8K0

发布于 2020-07-31 17:09:19

文章被收录于专栏：AIWalkerAIWalker

paper: https://arxiv.org/abs/2001.02129

code: https://github.com/LongguangWang/SOF-VSR

Abstract

视频超分旨在生成具有与LR时序一致性且视觉效果更好的高分辨率图像。视频超分的关键挑战在于：如何更有效的利用连续帧间的时序信息。现有的深度学习方法通常采用光流方法从LR图像上估计时序信息，低分辨率的光流会影响HR图像的细节复原效果。

该文提出了一种端到端的视频超分方法，它同时对光流与图像进行超分，光流超分开源提供更精确的时序信息进而提升视频超分的性能。作者首先提出一种光流重建网络(OFRNet)以“自粗而精”的方式预测HR光流，然后采用HR光流进行运动补偿编码时序信息，最后采用补偿后的LR图像送入超分网络(SRNet)生成超分结果。

作者通过充分的实验验证了HR光流对于超分性能提升的有效性，所提方法在Vid4与DAVIS10数据集上取得了SOTA性能。

该文的贡献包含以下几点：

将光流与图像的超分集成到统一的SOF-VSR框架中，光流超分有助于提升图像超分性能；
提出一种OFRNet采用“自粗而精”的方式从LR图像中预测HR光流，它有助于重建更精确的时序信息；
在公开基准数据集(Vid4，DAVIS10)上，所提SOF-VSR取得了SOTA性能。

Method

OFRNet

为降低模型大小以及训练难度，作者采用了尺度递归架构，见上图。在前两级作者采用递归模块估计不同尺度的光流信息，在第三级作者首先采用递归架构生成深度表达，然后引入SR模块重建HR光流。这种尺度递归架构有助于OFRNet处理复杂的运动，同时使得模型更轻量。

Motion Compensation Module

通过OFRNet得到HR光流后，作者通过space-to-depth变换对HR光流与LR图像进行桥接，见下图。注：光流的幅值需要除以s以匹配LR图像的空间分辨率。

Loss Function

作者分别针对SRNet和OFRNet设计了损失函数，它们分别是：

L_{SR} = \|I_0^{SR} - I_0^H \|_2^2 \\ L_{OFR} = \sum_{i \in [-N, N], i\ne0} \frac{L_{level3,i} + \lambda_2 L_{level2,i} + \lambda_1 L_{level1,i}}{2N} \\ L_{level3,i} = \|W(I_i^H, F_{i\rightarrow0}^H) - I_0^H \|_1 + \lambda_3 \|\Delta F_{i\rightarrow 0}^H\|_1 \\ L_{level2,i} = \|W(I_i^L, F_{i\rightarrow0}^L) - I_0^L \|_1 + \lambda_3 \|\Delta F_{i\rightarrow 0}^L\|_1 \\ L_{level1,i} = \|W(I_i^{LR}, F_{i\rightarrow0}^{LD}) - I_0^H \|_1 + \lambda_3 \|\Delta F_{i\rightarrow 0}^{LD}\|_1