无监督,无需匹配样本!英伟达提出基于GAN的无监督图到图迁移框架

【新智元导读】英伟达研究人员发表论文,提出图像到图像的无监督学习。实现方式值得一看。

大多数现有的图像到图像(image-to-image)迁移框架是基于监督学习的,需要将一个域中的图像映射到另一个域的对应图像,即,需要需要两个域的对应图像对来学习迁移函数。这大大限制了它们的应用,因为在两个不同的域中把图像对应起来通常是很困难的任务。为了解决这个问题,论文提出一个新的框架,即无监督图到图迁移( UNsupervised Image-to-image Translation,UNIT)框架,这个框架基于变分自编码器和生成对抗网络。我们提出的框架可以在两个域中没有任何对应的图像的情况下学习迁移函数。论文通过组合权重共享的限制和对抗训练目标来实现这种学习能力。通过多样化的无监督图像迁移任务的可视化结果,论文验证了所提出的框架的有效性。进一步的研究揭示了关键的设计选择。此外,研究把 UNIT 框架应用于无监督的域适应任务,并在基准数据集上获得了比其他算法更好的结果。

无监督图像迁移(UNIT)网络框架

论文针对无监督图像到图像的迁移任务提出了无监督图像迁移(UNIT)网络框架。 如图1所示,该框架由最近的深度生成模型的驱动,包括变分自动编码器(VAE)(Kingma&Welling, 2013; Rezende et al., 2014; Larsen et al., 2016)和生成式对抗网络 (Goodfellow et al., 2014; Liu&Tuzel, 2016)。它由6个子网络组成:包括两个域图像编码器E1和E2,两个域图像发生器G1和G2,以及两个域对抗鉴别器D1和D2。有几种方法来解释子网络的角色,如表1所示。我们特别指出,UNIT网络一次可以学习双向迁移。

框架示意图

论文结论

研究提出 UNIT 框架——一个无监督的图到图迁移的一般框架。研究证明该框架能在训练数据集的两个域中没有任何相对应图像的情况下,学会将图像从一个域迁移到另一个域。将来,研究计划将该框架扩展以处理半监督的图到图掐你任务,其中给出的域的对应可以是以一组规则的方式,或几对相对应的图像的方式。我们也计划将该框架扩展到无监督的语言到语言的翻译任务。

论文作者:Ming-Yu Liu, Thomas Breuel, Jan Kautz

论文地址:https://arxiv.org/pdf/1703.00848.pdf

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-03-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏目标检测和深度学习

计算机视觉必读:目标跟踪、网络压缩、图像分类、人脸识别等

新智元专栏 作者:张皓(南京大学) 【新智元导读】深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一。本文以计算机视觉的重要概念为线索,介绍深度学...

538110
来自专栏磐创AI技术团队的专栏

TensorFlow系列专题(二):机器学习基础

数据预处理的方式较多,针对不同类型的数据,预处理的方式和内容也不尽相同,这里我们简单介绍几种较为常用的方式:

12540
来自专栏深度学习思考者

重磅!从单层感知器到深度学习以及深度学习必知的框架

一 单层神经网络(感知器) 1.结构      下面来说明感知器模型。     在原来MP模型的“输入”位置添加神经元节点,标志其为“输入单元”。其余不变,...

28490
来自专栏CVer

【重磅】卷积神经网络为什么能称霸计算机视觉领域?

在机器视觉和其他很多问题上,卷积神经网络取得了当前最好的效果,它的成功促使我们思考一个问题,卷积神经网络为什么会这么有效?在本文中,SIGAI将为大家分析卷积神...

9830
来自专栏专知

【前沿】FAIR何恺明等人与UC伯克利最新论文提出分割利器(Learning to Segment Every Thing)

【导读】Facebook FAIR实验室与UC伯克利大学合作提出《Learning to Segment Every Thing》在ICCV 2017 最佳论文...

49270
来自专栏CSDN技术头条

卷积神经网络中十大拍案叫绝的操作

CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工...

1.3K100
来自专栏AI科技大本营的专栏

干货 | 闲说CNN:通过优化求解输入图像

? 作者 | 达闻西 整理 | AI100(rgznai100) 机器学习和优化问题 很多机器学习方法可以归结为优化问题,对于一个参数模型,比如神经网络,...

36350
来自专栏人工智能头条

卷积神经网络中十大拍案叫绝的操作

16620
来自专栏AI科技评论

开发 | 自Ian Goodfellow之后,GANs还有哪些开拓性进展?

AI科技评论按:本文由作者Adit Deshpande总结,AI科技评论编译整理。Adit Deshpande目前是UCLA计算机科学专业生物信息学方向的大二学...

35170
来自专栏新智元

【新智元干货】计算机视觉必读:目标跟踪、网络压缩、图像分类、人脸识别等

【新智元导读】深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一。本文以计算机视觉的重要概念为线索,介绍深度学习在计算机视觉任务中的应用,包括网络压缩、细...

38970

扫码关注云+社区

领取腾讯云代金券