视频复原领域YYDS！BasicVSR++再次刷新视频降噪与视频去模糊

自从BasicVSR提出以来，双向信息流传播已成为视频复原(尤其是视频超分)的标配，不仅取得了NTIRE2021视频增强相关竞赛的冠军，同时基于该思路的方案还取得了MobileAI2021视频超分竞赛的冠军。此外，前段时间刷榜的VRT同样采用了类似的机制。不得不说，对于视频超分而言，BasicVSR的双向信息流传播就是YYDS！不接受辩驳！

近日BasicVSR的作者Kelvin又一次对BasicVSR++在其他视频复原(如视频降噪、视频去模糊)任务中的应用进行了探讨。毫无疑问，BasicVSR++再次屠榜！

由于原始BasicVSR++是针对超分任务而设计，其输入分辨率比输出小4倍。而在视频降噪与去模糊任务中，输入与输出的分辨率相同。为此，作者对BasicVSR++进行了如下两点改进：

• 为改善效率，我们采用stride卷积对输入进行下采样；
• 为进一步减少计算量，在计算光流之前我们对输入帧进行下采样。

更多关于BasicVSR++的内容介绍请移步：NTIRE2021竞赛"三冠一亚"方案BasicVSR++，Vid4新巅峰29.04dB。

1Experiments

上图与表给出了视频去模糊任务上不同方案的性能对比，从中可以看到：

• 在DVD与GoPro数据集上，BasicVSR++大幅超越现有方案，比第二名方案指标分别高出1.48dB与1.91dB；
• 受益于输入端的下采样，BasicVSR++不仅具有最高的指标，同时具有最快的推理速度。

上图与表给出了视频降噪任务上不同方案的性能对比，可以看到：

• BasicVSR++显著优于其他方案，同时具有更高的计算效率；相比PaCNet，BasicVSR++推理速度快546倍，同时指标分别高出0.62dB@DAVIS与0.41dB@Set8.
• 有意思的是，随着噪声强度变大，BasicVSR++的性能改善越强；
• 在重建质量方面，BasicVSR++重建结果具有更多细节信息。

此外，作者还给出了BasicVSR++与Transformer方案VRT的性能对比，见上表与图。可以看到：

• 在去模糊任务上，VRT具有与BasicVSR++相当的性能；而在降噪任务上，VRT则优于BasicVSR++；在超分任务上，VRT的性能弱于BasicVSR++。但是，VRT需要非常大的计算复杂度方能达成上述性能。比如，VRT的参数量约为BasicVSR++的5倍@超分和2倍@去模糊+降噪。
• 受益于长期信息交互，BasicVSR++可以重建更锐利边缘与清晰细节，达成与GT相似的结果。