学界 | 让莫奈画作变成照片：伯克利图像到图像翻译新研究

选自arXiv.org

机器之心编译

参与：李泽南

UC Berkeley 的研究者们在图像风格转换领域的探索一直引人注目，几个月前的人工智能生成「猫片」：edges2cats 图像转换系统风靡一时。最近，该论文作者之一 Jun-Yan Zhu 又为我们展示了另一种图像风格转换技术。经过训练，这种被称为 CycleGAN 的新方法可以让马变成斑马，莫奈的画作变成照片，橘子变成苹果……在论文发表后，研究小组在 GitHub 上公布了该项研究的 Torch 实现。读者可点击阅读原文下载此论文。

论文：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

摘要：图像到图像转换是一类视觉和图形问题，其目标是通过训练学习输入图片的风格，将其映射到框架类似的输出图片中。尽管对于很多任务而言，配对训练数据可遇不可求。我们提出了一种在没有配对的情况下从来源域 X 到目标域 Y 进行图像转换的方式。我们的目标是实现 G:X→ Y，其中 G(X) 的图像分布与使用对抗性损失分布的 Y 难以区分。因为映射非常不完全，我们将其以 F:Y→ X 的方式建立映射，同时引入循环一致性损失函数来推动 F(G(X))≈X（反之亦然）。我们在无法配对的训练数据中演示了新方法的成果，其中包括风格迁移、材质改变、季节变化、图像增强等。我们业余之前一些方法进行了定量比较，展示了新方法的优越性。

图 1：给定两个无序图像集 X 和 Y，CycleGAN 可以自动对它们进行互相「翻译」。

图 3：该模型包含两个映射函数 G : X ! Y 和 F : Y ! X，以及相关的对抗式鉴别器 DY 和 DX。DY 鼓励 G 将 X 翻译为 Y 风格的图像，反之亦然。为了进一步规范映射，研究者引入了两个「循环协调损失函数」，确保转换后的风格在反转换后可以回到处理之前的状态。

图 5：在道路图片上，CycleGAN 与一些其他方法效果的对比

图 8：CycleGAN 处理 pix2pix 配对数据集的效果

在论文中，作者表示尽管这一研究在很多包含纹理与颜色的风格转换任务中表现优秀，但它在一些包含几何图形变化的任务中（如猫→ 狗转换）仍无法达到令人满意的表现。研究人员在未来将向这一方向展开新的探索。

相关链接

• GitHub：https://github.com/junyanz/CycleGAN
• 论文链接：https://arxiv.org/abs/1703.10593

本文为机器之心编译，转载请联系本公众号获得授权。