最近,来自微软亚洲研究院和上海交通大学的Jing Liao、Yuan Yao、 Lu Yuan等人写了一篇题为“通过深度图像类推实现视觉属性迁移”的论文,这篇论文提出了一种新的、有趣的图像风格迁移方案。论文将会发表在本月21号举办的SIGGRAPH 2017上,以下是论文的主要内容:
我们提出了一种新的视觉属性迁移技术,应用于那些在外观上差异很大,但却有着相似语义结构的照片。视觉属性迁移其实具体是指,将一张图像的视觉信息(如颜色、色调、纹理、风格)迁移到另一张图像上。比如,你可以将一幅油画或者素描变成一张描述相同对象的实景照片。
这一技术能够发现两幅输入图像之间具有语义学意义的密切关联。而为了实现这一目的,该技术采用了“图像类推”的概念——其特性由一种用于匹配的深度卷积神经网络中提取而出。我们将自己的技术称作“深度图像类推”。在计算、寻找图像间的最大的相似点时,该技术运用了一种由粗到精的策略。我们在多个不同的案例中验证了这一方法的有效性,这些案例包括风格/纹理转移、色彩/风格交换,以及将油画、素描变成照片或延时摄影。
1. 照片→风格
用户可以将特定艺术作品的风格应用到自己的照片上。
2. 风格→风格
实现表现内容相关但风格相异的艺术作品间的风格互换。
3. 风格→照片
将包括素描、油画、CG等在内的艺术作品转化成实景照片,当输入的照片和艺术作品内容相近时,生成的结果会更为真实。
4. 照片→照片
将两张照片间的色彩或色调进行互换。
Paper: https://arxiv.org/pdf/1705.01088.pdf
对Paper的补充材料: https://liaojing.github.io/html/data/analogy_supplemental.pdf