学界 | 风格迁移新方法:微软与上海交大提出深度图像类比技术

选自arXiv.org

作者:廖菁等

机器之心编译

参与:李泽南

近年来,科学家们已经开发出了多种图像内容转换工具,其中包括颜色转换、纹理转换和风格转换。最近这一领域的研究集中于深度卷积神经网络,除康奈尔大学和 Adobe 的真实照片风格转换以外,UC Berkeley 推出的手绘纹理生成模型也引起了很多人的关注。它们随着社交媒体的发展而变得广为人们所知——因为图片分享是互动的重要组成部分。Prisma 和 Facetune 等应用就成功利用了这种吸引力。

来自微软和上海交大的廖菁等人最近推出了又一种图像风格转换方法。据研究者称,这种名为 Deep Image Analogy 的技术相比最近的其他研究可以得到更好的风格迁移效果,并适用于多种不同的图像转换任务。

摘要

我们提出了一种在图片中进行视觉风格转移的新技术,可以让图片进行外观上的转换,但保留感知上相似的纹理结构。我们的技术可以在两个输入图像之间找到有意义的对应关系。为了实现这点,它使用「图像类比」方式用深度卷积神经网络进行对比;我们把这一新技术称为 Deep Image Analogy。它使用粗化-精细的策略来计算生成结果的邻域纹理。我们在各种任务中验证了新方法的有效性,包含风格/纹理转换、颜色/风格对换、素描/绘画到照片的转换和不同时间的光照条件转换。

图 1. 新技术可以在两张图片(A 和 B')之间建立起语义有意义的对应关系,A'和 B 是风格转换后输出的结果

这项新技术在输入图像之间建立起了有意义的予以对应关系,从而让有效的视觉转换成为可能。研究者在论文中称,该研究的主要贡献在于:

  1. 提出了「深度图像类比」方法,并证明了新方法在不同图像类别任务的处理中是有效的。
  2. 将 PatchMatch 和重建从图像域延展到了特征域,后者可以引导语义上有意义视觉风格转换。

图 2. 该方法将相对困难的 A→B0(红色)映射分解为两个相对简单的映射:A→A'和 A'→ B。

图 3. 输入图 A(或 B')在 CNN 中每层的抽象程度。在这里,每一层的图像过滤都做了可视化。

图 4. 系统处理过程

图 8. 神经网络中每一层 NNF 的可视化(第一行),NNF 重建结果(中间行)以及独立层 NNF 重建结果(第三行)。

Deep Image Analogy 算法

图 11. 对比不同对应密度的方法。

图 14. 对比其他基于神经网络的方法与应用(包括 Prisma)

图 21. 该方法与其他目前表现最佳的图像风格转换的处理结果对比,其中包括康奈尔大学和 Adobe 最近的研究。左侧小图为输入图像和参考图像。

通过调整图像深层空间中的类比概念,研究人员发现了语义上的密集对照关系。Deep Image Analogy 在光照、颜色、纹理和风格的表现上都优于此前推出的其他方法。该方法在真实世界照片的风格转换任务中展现了广泛的适用性。在 Adobe 之后,微软和上海交通大学将图像风格转换又向前推进了一步。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2017-05-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

深度学习调参有哪些技巧?

最近因为一些需要,参与了一些CNN建模调参的工作,出于个人习性,我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box...

2214
来自专栏机器之心

观点 | 对比梯度下降与进化策略,神经进化会成为深度学习的未来吗?

39613
来自专栏机器之心

观点 | 如何优雅地从四个方面加深对深度学习的理解

2017 年 12 月 NIPS 的 Test-of-Time Award 颁奖典礼上,Ali Rahimi 这样呼吁人们加深对深度学习的理解:

971
来自专栏人工智能头条

详解深度学习的可解释性研究(上篇)

4263
来自专栏数据科学与人工智能

【算法】朴素贝叶斯分类算法原理与实践

小编邀请您,先思考: 1 朴素贝叶斯公式是什么? 2 朴素贝叶斯的假设是什么? 3 朴素贝叶斯是如何分类? 本文介绍一下朴素贝叶斯分类算法,讲一下基本原理,再以...

40914
来自专栏华章科技

实景照片秒变新海诚风格漫画:清华大学提出CartoonGAN

CartoonGAN 的预训练模型,其中包括宫崎骏、细田守、今敏(动画电影《红辣椒》)和新海诚风格:

1332
来自专栏数据派THU

115页Slides带你领略深度生成模型全貌(附PPT)

本文为大家带来了斯坦福大学PH.D Aditya Grover同学的深度生成模型tutorial。

982
来自专栏机器之心

EMNLP 2018 | 短文本分类,腾讯AI Lab联合港中文提出主题记忆网络

论文:Topic Memory Networks for Short Text Classification

1372
来自专栏AI科技评论

开发 | 深度学习调参入门,有哪些技巧?

AI科技评论按:作者杨军,从事大规模机器学习系统研发及应用相关工作。本文整理自知乎,已获作者授权。 本文将分享一些自己关于深度学习模型调试技巧的总结思考(以CN...

3647
来自专栏数据派THU

一文详解聚类和降维(附实例、代码)

来源:机器之心 作者:Vishal Maini 本文长度为3500字,建议阅读6分钟 本文对无监督学习的聚类和降维算法进行介绍,其中包括 K 均值聚类、层次聚类...

4058

扫码关注云+社区

领取腾讯云代金券