开源: CVPR 2020 修复你的老照片

今天介绍的是CVPR 2020 Oral的「老照片修复」工作。

首先给出代码+主页+视频：

「Code」: github.com/microsoft/Bringing-Old-Photos-Back-to-Life

「主页」：raywzy.com/Old_Photo

论文在「计算机视觉工坊」后台回复「oldphoto」获取，下面是本文的视频讲解，感兴趣的同学可以看看。

摘要

本文提出一种通过深度学习的方法恢复严重退化的旧照片的算法。与传统的有监督学习方法不同的是，真实照片的退化是复杂的，合成图像与真实旧照片之间的域差距使得网络无法进行泛化。

因此，本文利用真实照片和大量合成图像对，提出一个新的三重态域转换网络(triplet domain translation network)。具体来说，我们训练两个变分自动编码器（VAEs）来分别将旧照片和干净照片转换为两个潜在空间。利用合成的成对数据学习这两个潜在空间之间的转换。这个转换很好地推广到真实照片，因为在紧凑的潜在空间中域间隙是非常紧凑的。此外，为了解决一张旧照片中混合的多个退化问题，我们设计了一个具有部分非局部块(partial nonlocal block)的全局分支和局部分支。其中全局分支主要针对结构化缺陷，如划痕和灰尘斑点；局部分支针对非结构化缺陷，如噪声和模糊。两个分支在潜在空间融合，提高了从多个缺陷恢复旧照片的能力。该方法在旧照片恢复的视觉质量方面优于现有的方法。

方法

实验