学界 | 风格迁移新方法：微软与上海交大提出深度图像类比技术

选自arXiv.org

作者：廖菁等

机器之心编译

参与：李泽南

近年来，科学家们已经开发出了多种图像内容转换工具，其中包括颜色转换、纹理转换和风格转换。最近这一领域的研究集中于深度卷积神经网络，除康奈尔大学和 Adobe 的真实照片风格转换以外，UC Berkeley 推出的手绘纹理生成模型也引起了很多人的关注。它们随着社交媒体的发展而变得广为人们所知——因为图片分享是互动的重要组成部分。Prisma 和 Facetune 等应用就成功利用了这种吸引力。

来自微软和上海交大的廖菁等人最近推出了又一种图像风格转换方法。据研究者称，这种名为 Deep Image Analogy 的技术相比最近的其他研究可以得到更好的风格迁移效果，并适用于多种不同的图像转换任务。

摘要

我们提出了一种在图片中进行视觉风格转移的新技术，可以让图片进行外观上的转换，但保留感知上相似的纹理结构。我们的技术可以在两个输入图像之间找到有意义的对应关系。为了实现这点，它使用「图像类比」方式用深度卷积神经网络进行对比；我们把这一新技术称为 Deep Image Analogy。它使用粗化-精细的策略来计算生成结果的邻域纹理。我们在各种任务中验证了新方法的有效性，包含风格/纹理转换、颜色/风格对换、素描/绘画到照片的转换和不同时间的光照条件转换。

图 1. 新技术可以在两张图片（A 和 B'）之间建立起语义有意义的对应关系，A'和 B 是风格转换后输出的结果

这项新技术在输入图像之间建立起了有意义的予以对应关系，从而让有效的视觉转换成为可能。研究者在论文中称，该研究的主要贡献在于：

1. 提出了「深度图像类比」方法，并证明了新方法在不同图像类别任务的处理中是有效的。
2. 将 PatchMatch 和重建从图像域延展到了特征域，后者可以引导语义上有意义视觉风格转换。

图 2. 该方法将相对困难的 A→B0（红色）映射分解为两个相对简单的映射：A→A'和 A'→ B。

图 3. 输入图 A（或 B'）在 CNN 中每层的抽象程度。在这里，每一层的图像过滤都做了可视化。

图 4. 系统处理过程

图 8. 神经网络中每一层 NNF 的可视化（第一行），NNF 重建结果（中间行）以及独立层 NNF 重建结果（第三行）。

Deep Image Analogy 算法

图 11. 对比不同对应密度的方法。

图 14. 对比其他基于神经网络的方法与应用（包括 Prisma）

图 21. 该方法与其他目前表现最佳的图像风格转换的处理结果对比，其中包括康奈尔大学和 Adobe 最近的研究。左侧小图为输入图像和参考图像。

通过调整图像深层空间中的类比概念，研究人员发现了语义上的密集对照关系。Deep Image Analogy 在光照、颜色、纹理和风格的表现上都优于此前推出的其他方法。该方法在真实世界照片的风格转换任务中展现了广泛的适用性。在 Adobe 之后，微软和上海交通大学将图像风格转换又向前推进了一步。