【Ian Goodfellow盛赞】一个GAN生成ImageNet全部1000类物体

【新智元导读】Ian Goodfellow刚刚在Twitter盛赞一篇论文,担心仅仅浏览摘要无法充分体会其突破。这篇正在ICLR-18双盲审核中的论文,提出了一种叫做“谱归一化”的新的权重归一化方法,稳定对抗生成网络判别器的训练,而且所提出的GAN变体SN-GAN是第一个成功用于ImageNet全部1000个类别的GAN变体。

就在几小时前,生成对抗网络(GAN)的发明人Ian Goodfellow在Twitter上发文,激动地推荐了一篇论文:

Goodfellow表示,虽然GAN十分擅长于生成逼真的图像,但仅仅限于单一类型,比如一种专门生成人脸的GAN,或者一种专门生成建筑物的GAN,要用一个GAN生成ImageNet全部1000种类的图像是不可能的。但是,这篇ICLR论文做到了。

是什么论文这么厉害?

点开链接,可以看到Ian Goodfellow更加热情的赞美:

这是一篇很棒的论文!

这是一篇很棒的论文!我认为这篇论文没有充分说明它结论的重要性,我担心仅仅浏览摘要会让人错过这项突破。 “我们在CIFAR10,STL-10和ILSVRC2012数据集上测试了谱归一化的功效,通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN,谱归一化GAN(SN-GAN)能够生成质量相同乃至更好的图像。”这个描述太低调了,这篇论文展现了在ILSVRC2012数据集上的一个超大的飞跃。 在这篇论文之前,仅有一种GAN在ILSVR2012数据集上表现很好,那就是AC-GAN。但AC-GAN实际上有点作弊,因为它把ImageNet分成了100个更小的数据集,每个数据集仅含10个种类的数据。新的SN-GAN是第一个用一种GAN就覆盖ImageNet全部1000种类数据的GAN变体。 将GAN扩展到更大的种类上面去一直以来都没有得到很好解决,现在这篇论文为我们带来了10倍的飞跃。

生成对抗网络的谱归一化,稳定判别器训练

看上去真的很厉害的样子。虽然Goodfellow说仅仅浏览摘要无法充分体会这篇论文的好,但是我们还是从摘要开始看起:

题目:生成对抗网络的谱归一化 摘要:生成对抗网络的研究面临的挑战之一是其训练的不稳定性。在本文中,我们提出了一种叫做“谱归一化”(spectral normalization)的新的权重归一化(weight normalization)技术,来稳定判别器的训练。这种新归一化技术计算轻巧,易于并入现有的部署当中。我们在CIFAR10,STL-10和ILSVRC2012数据集上测试了谱归一化的功效,通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN,谱归一化GAN(SN-GAN)能够生成质量相同乃至更好的图像。

简单说,论文提出了一种新的权重归一化方法,用于稳定判别器的训练。作者在论文中写道,他们的归一化方法需要调整的超参数只要一个,就是Lipschitz常数,而且即使不调整这个超参数,也能获得满意的性能。此外,算法实现简单,额外的计算成本很小。

作者在论文中将这种新的“谱归一化”方法与其他归一化技术,比如权重归一化(Salimans&Kingma,2016)、权重削减clipping(Arjovsky等,2017)和梯度惩罚gradient penalty(Gulrajani等,2017)做了比较,并通过实验表明,在没有批量归一化、权重衰减和判别器特征匹配的情况下,谱归一化改善生成的图像质量,效果比权重归一化和梯度惩罚更好。

第一个成功应用于ImageNet全部1000个类别的GAN变体

最后,来看让Ian Goodfellow觉得没有充分强调的部分。

在论文的4.2这节,作者简单描述了他们的方法在ImageNet训练的情况,如作者所写,“我们将我们的方法应用于ILRSVRC2012数据集,训练类别conditional GANs……我们的SN-GAN是所有方法中唯一训练成功了的,据我们所知,这也是首次用单对判别器和生成器从ImageNet数据集生成不错图像的尝试”。

  • 论文地址:https://openreview.net/pdf?id=B1QRgziT-
  • OpenReview:https://openreview.net/forum?id=B1QRgziT-

P.S. 希望Ian Goodfellow的推荐不要让这篇论文“过火”才好……

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【专知-PyTorch手把手深度学习教程04】GAN快速理解与PyTorch实现: 图文+代码

【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视...

59711
来自专栏思因缓得

用深度学习解决Bongard问题

原文链接:https://k10v.github.io/2018/02/25/Solving-Bongard-problems-with-deep-learni...

1.1K17
来自专栏人工智能头条

这篇文章要在GANs圈里C位出道了(内附源码与资源链接)

【导读】生成对抗网络(GANs) 是一类深度生成模型,旨在以无监督方式来学习目标的分布。虽然这类模型已成功应用并解决很多问题,但由于需要大量超参数微调、神经网络...

1114
来自专栏AI科技评论

开发 | 深度学习中的“深度”究竟怎么理解?

AI科技评论按:本文原作者 YJango,本文原载于其知乎专栏——超智能体。AI科技评论已获得原作者授权。 介绍 为了研究神经网络,我们必须要对什么网络是什么有...

3067
来自专栏机器学习算法原理与实践

特征工程之特征选择

    特征工程是数据分析中最耗时间和精力的一部分工作,它不像算法和模型那样是确定的步骤,更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法...

2162
来自专栏计算机视觉战队

判别特征学习方法用于人脸识别

最近因为博主科研繁忙,没有时间更新,在此向所有关注的您说一声对不起!希望没有计算机视觉战队大家依然科研顺利,生活愉快,也希望大家时刻关注我们的平台,宣传计算机视...

3355
来自专栏专知

【干货】计算机视觉实战系列07——用Python做图像处理

这一次继续为大家详细讲解SciPy库的使用以及图像导数实战。

5989
来自专栏量子位

只会造假怎么行?艺术家联手Facebook,给GAN加点创意

王小新 编译自 Hackernoon 量子位 出品 | 公众号 QbitAI 目前,生成对抗网络(GAN)作为一种处理图像生成问题的优秀方法,在超分辨率重建、风...

2796
来自专栏机器之心

谷歌大脑发布GAN全景图:看百家争鸣的生成对抗网络

深度生成模型可以应用到学习目标分布的任务上。它们近期在多种应用中发挥作用,展示了在自然图像处理上的巨大潜力。生成对抗网络(GAN)是主要的以无监督方式学习此类模...

1294
来自专栏机器之心

NIPS 2018 | 行人重识别告别辅助姿势信息,商汤、中科大提出姿势无关的特征提取GAN

行人重识别(reID)是一项极具挑战性的任务,该任务以在多个摄像头拍摄出来的图像中识别相同行人为目标。随着深度学习方法的广泛使用,reID 的性能借助不同的算法...

1772

扫码关注云+社区

领取腾讯云代金券