微软研究院新论文：按语义结构迁移图片视觉属性

唐旭 编译整理 量子位 出品 | 公众号 QbitAI

最近，来自微软亚洲研究院和上海交通大学的Jing Liao、Yuan Yao、 Lu Yuan等人写了一篇题为“通过深度图像类推实现视觉属性迁移”的论文，这篇论文提出了一种新的、有趣的图像风格迁移方案。论文将会发表在本月21号举办的SIGGRAPH 2017上，以下是论文的主要内容：

摘要

我们提出了一种新的视觉属性迁移技术，应用于那些在外观上差异很大，但却有着相似语义结构的照片。视觉属性迁移其实具体是指，将一张图像的视觉信息（如颜色、色调、纹理、风格）迁移到另一张图像上。比如，你可以将一幅油画或者素描变成一张描述相同对象的实景照片。

这一技术能够发现两幅输入图像之间具有语义学意义的密切关联。而为了实现这一目的，该技术采用了“图像类推”的概念——其特性由一种用于匹配的深度卷积神经网络中提取而出。我们将自己的技术称作“深度图像类推”。在计算、寻找图像间的最大的相似点时，该技术运用了一种由粗到精的策略。我们在多个不同的案例中验证了这一方法的有效性，这些案例包括风格/纹理转移、色彩/风格交换，以及将油画、素描变成照片或延时摄影。

这项技术能干什么？

1. 照片→风格

用户可以将特定艺术作品的风格应用到自己的照片上。

△ 兽人永不为奴！

2. 风格→风格

实现表现内容相关但风格相异的艺术作品间的风格互换。

△ 每行两端是初始的两幅作品，中间两幅是生成的结果。

3. 风格→照片

将包括素描、油画、CG等在内的艺术作品转化成实景照片，当输入的照片和艺术作品内容相近时，生成的结果会更为真实。

4. 照片→照片

将两张照片间的色彩或色调进行互换。

△ 卷福：你们把照片摆成这样是几个意思啊喂！

Paper： https://arxiv.org/pdf/1705.01088.pdf

对Paper的补充材料： https://liaojing.github.io/html/data/analogy_supplemental.pdf