无监督,无需匹配样本!英伟达提出基于GAN的无监督图到图迁移框架

【新智元导读】英伟达研究人员发表论文,提出图像到图像的无监督学习。实现方式值得一看。

大多数现有的图像到图像(image-to-image)迁移框架是基于监督学习的,需要将一个域中的图像映射到另一个域的对应图像,即,需要需要两个域的对应图像对来学习迁移函数。这大大限制了它们的应用,因为在两个不同的域中把图像对应起来通常是很困难的任务。为了解决这个问题,论文提出一个新的框架,即无监督图到图迁移( UNsupervised Image-to-image Translation,UNIT)框架,这个框架基于变分自编码器和生成对抗网络。我们提出的框架可以在两个域中没有任何对应的图像的情况下学习迁移函数。论文通过组合权重共享的限制和对抗训练目标来实现这种学习能力。通过多样化的无监督图像迁移任务的可视化结果,论文验证了所提出的框架的有效性。进一步的研究揭示了关键的设计选择。此外,研究把 UNIT 框架应用于无监督的域适应任务,并在基准数据集上获得了比其他算法更好的结果。

无监督图像迁移(UNIT)网络框架

论文针对无监督图像到图像的迁移任务提出了无监督图像迁移(UNIT)网络框架。 如图1所示,该框架由最近的深度生成模型的驱动,包括变分自动编码器(VAE)(Kingma&Welling, 2013; Rezende et al., 2014; Larsen et al., 2016)和生成式对抗网络 (Goodfellow et al., 2014; Liu&Tuzel, 2016)。它由6个子网络组成:包括两个域图像编码器E1和E2,两个域图像发生器G1和G2,以及两个域对抗鉴别器D1和D2。有几种方法来解释子网络的角色,如表1所示。我们特别指出,UNIT网络一次可以学习双向迁移。

框架示意图

论文结论

研究提出 UNIT 框架——一个无监督的图到图迁移的一般框架。研究证明该框架能在训练数据集的两个域中没有任何相对应图像的情况下,学会将图像从一个域迁移到另一个域。将来,研究计划将该框架扩展以处理半监督的图到图掐你任务,其中给出的域的对应可以是以一组规则的方式,或几对相对应的图像的方式。我们也计划将该框架扩展到无监督的语言到语言的翻译任务。

论文作者:Ming-Yu Liu, Thomas Breuel, Jan Kautz

论文地址:https://arxiv.org/pdf/1703.00848.pdf

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-03-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【新智元干货】计算机视觉必读:目标跟踪、网络压缩、图像分类、人脸识别等

【新智元导读】深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一。本文以计算机视觉的重要概念为线索,介绍深度学习在计算机视觉任务中的应用,包括网络压缩、细...

3647
来自专栏IT派

推荐|变形卷积核、可分离卷积?CNN中十大拍案叫绝的操作!

CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工...

3946
来自专栏CVer

【重磅】卷积神经网络为什么能称霸计算机视觉领域?

在机器视觉和其他很多问题上,卷积神经网络取得了当前最好的效果,它的成功促使我们思考一个问题,卷积神经网络为什么会这么有效?在本文中,SIGAI将为大家分析卷积神...

863
来自专栏WD学习记录

机器学习 学习笔记(7)多分类学习与类别不平衡

现实中常遇到多分类学习任务,有些二分类学习方法可以直接推广到多分类,但在更多情况下,是基于一些基本策略,利用二分类学习器来解决多分类问题。

3161
来自专栏AI科技大本营的专栏

干货 | 闲说CNN:通过优化求解输入图像

? 作者 | 达闻西 整理 | AI100(rgznai100) 机器学习和优化问题 很多机器学习方法可以归结为优化问题,对于一个参数模型,比如神经网络,...

3295
来自专栏CSDN技术头条

卷积神经网络中十大拍案叫绝的操作

CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工...

90710
来自专栏磐创AI技术团队的专栏

TensorFlow系列专题(二):机器学习基础

数据预处理的方式较多,针对不同类型的数据,预处理的方式和内容也不尽相同,这里我们简单介绍几种较为常用的方式:

894
来自专栏SIGAI学习与实践平台

集成学习综述-从决策树到XGBoost

在之前缅怀金大侠的文章“永远的金大侠-人工智能的江湖”中提到:集成学习是机器学习中一种特殊的存在,自有其深厚而朴实的武功哲学,能化腐朽为神奇,变弱学习为强学习,...

1493
来自专栏人工智能头条

卷积神经网络中十大拍案叫绝的操作

1382
来自专栏小小挖掘机

推荐系统遇上深度学习(九)--评价指标AUC原理及实践

CTR问题我们有两种角度去理解,一种是分类的角度,即将点击和未点击作为两种类别。另一种是回归的角度,将点击和未点击作为回归的值。不管是分类问题还是回归问题,一般...

1841

扫码关注云+社区