微软开源的 AI 工具，让旧照片焕发新生

HelloGitHub

发布于 2021-05-14 15:40:06

4580

发布于 2021-05-14 15:40:06

文章被收录于专栏：HelloGitHub

原文地址：Bringing Old Photos Back to Life 原文作者：Ziyu Wan 译者 & 校正：HelloGitHub-小鱼干 & 鸭鸭

写在前面

在 GitHub 热点趋势 Vol.046 中，HG 介绍过一个微软开源的 AI 工具——Bringing-Old-Photos-Back-to-Life

它可以让破损、残旧的图片焕发新生，在本周更是获得近 3k star。而本文则是项目团队成员 Ziyu Wan 发布于 Hacker News 的项目介绍，Enjoy it~

概述

我们打算通过深度学习的方法来修复老化严重的旧照片。与传统的监督式学习 supervised learning 的修复任务不同，真实照片的老化更为复杂，合成图像和真实旧照片之间的领域差距 domain gap 使得网络无法泛化。因此，我们提出了一种利用真实照片和大量合成图像对的新型三重域翻译网络。具体来说，我们训练了两个变分自编码器 (VAE)，分别将旧照片和干净照片转换为两个潜在空间。通过合成配对数据来学习两个潜在空间之间的转换。因为在紧凑的潜在空间中，domain gap 是封闭的，所以这种翻译网络可以很好地泛化为真实照片。

此外，为了解决混杂在旧照片中的多个退化问题，我们设计了一个带有 partial nonlocal block 的全局分支，用于处理结构性缺陷，如：划痕、尘点，和一个局部分支，用于处理非结构性缺陷，如：噪点、模糊。两个分支在潜在空间融合，提高从多个退化问题中恢复旧照片的能力。该方法在相片修复的视觉质量方面优于现有的方法。

架构全览

我们首先训练两个变分自编码器 VAE：VAE1 用于真实照片 r ∈ R 和合成图像 x ∈ X，通过联合训练一个对抗判别器缩小它们的 domain gap；对干净图像 y ∈ Y 进行 VAE2 训练。利用 VAE 将图像转换到紧凑的潜在空间。
我们了解了在紧凑潜在空间将损坏的图像恢复到带 partial non-local block 的干净照片的映射。