【NIPS2017前沿】半监督学习需要Bad GAN,清华特奖学霸与苹果AI总监提出(附Ruslan教授深度学习教程pdf下载)

【导读】CMU博士杨植麟与导师同时也是苹果首任AI总监Ruslan Salakhutdinov 在NIPS2017上合作提出新的GAN生成模型,大幅度提高对抗生成网络的特征匹配能力,论文代码也于近日在GitHub上公布。杨植麟本科就读于清华大学计算机系,现在就读于CMU. 他曾在清华4年保持全年级第一,同时也是清华大学2014年本科生特奖获得者,让我们来看下。

▌作者相关信息

杨植麟本科就读于清华大学计算机系,现在就读于CMU. 他曾在清华4年保持全年级第一,同时也是清华大学2014年本科生特奖获得者。在本科阶段就以第一作者在KDD,CIKM,WSDM发表论文,是不折不扣的学霸。

合作导师Ruslan Salakhutdinov

Ruslan Salakhutdinov是来自卡内基梅隆大学(CMU的副教授,2016年被任命为苹果首任AI总监。从整个神经网络和深度学习的历史看,最重要的拐点是2006年7月,Geoffrey Hinton为第一作者的两篇论文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》的发布,前者首次提出了layerwise greedy pretraining的方法,开创了深度学习方向;后者提出通过最小化函数集对训练集数据的重构误差,自适应地编解码训练数据的算法deep autoencoder,作为非线性降维方法在图像和文本降维实验中明显优于传统方法,证明了深度学习方法的正确性。正是这两篇论文引起了整个学术界对深度学习的兴趣,才有了近十年来深度学习研究的突飞猛进和突破。而Ruslan Salakhutdinov,就是深度学习历史上最重要的标志性论文之一、发布在Nature杂志上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。此时的他不过是刚刚进入Geoffrey Hinton门下不久的一名博士生(Ruslan Salakhutdinov于2009年获得博士学位),但并不影响其在深度学习领域中的辈分。

Ruslan Salakhutdinov对人工智能的贡献还在于学习深度生成模型的研究上。2007年前后,Ruslan Salakhutdinov与Geoffrey Hinton提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机,再使用有监督的反向传播算法进行调优(Ruslan Salakhutdinov的博士论文就是这方面的内容)。在获得博士学位后,Ruslan又花了两年时间从事博士后研究工作,从2011年起在多伦多大学担任助理教授,今年2月,他从多伦多大学转到卡内基梅隆大学,并实现了从助理教授到副教授的跨越。

从2006年的标志性论文发表到现在为止的十年中,Ruslan Salakhutdinov的研究成果层出不穷。截止本文发布之日,Ruslan Salakhutdinov的论文总引用数量达到16819次,其中近5年的引用次数为15191,这也说明了在其一直活跃在深度学习的前沿领域。

▌论文

Good Semi-Supervised Learning that Requires a Bad GAN

好的半监督学习需要坏的对抗生成模型

摘要

基于对抗生成网络的半监督学习取得了许多实实在在的有效结果, 但是仍有一些问题亟待解决度1) 判别器是怎么通过和生成器联合训练来得到增强的 2) 为什么一个好的半监督分类器效果和好的生成器不可兼得. 我们从理论上分析了对于一个给定的判别目标,好的半监督学习的确需要一个坏的生成器, 并且提出一个理想的生成器的定义. 我们设计了一个基于我们分析的全新公式,并大幅度的提高了GANs特征匹配能力, 在多个标准数据取得了最好的效果.

▌论文代码实现

Good Semi-supervised Learning that Requires a Bad GAN

NIPS 2017

Zihang Dai*, Zhilin Yang*, Fan Yang, William W. Cohen, Ruslan Salakhutdinov (*贡献相同)

Github 地址:https://github.com/kimiyoung/ssl_bad_gan

论文地址:https://arxiv.org/abs/1705.09783

依赖包

  • python 2.7
  • pytorch 0.1.12. 为了安装 pytorch 0.1.12, 你何以运行 conda install pytorch=0.1.12 cuda80 -c soumith.

获取预训练的PixelCNN模型

`mkdir model
cd model
wget http://kimi.ml.cmu.edu/mnist.True.3.best.pixel

运行代码

在MNIST数据集上重现代码

`python mnist_trainer.py

` 在SVHN数据集上重现代码

`python svhn_trainer.py

` 在CIFAR-10数据机上重现代码

`python cifar_trainer.py

结果

这是不同模型采用非集成的标准结构的结果比较 (100 labels on MNIST, 1000 labels on SVHN, and 4000 labels on CIFAR):

Method

MNIST (# errors)

SVHN (% errors)

CIFAR (% errors)

CatGAN

191 +/- 10

-

19.58 +/- 0.46

SDGM

132 +/- 7

16.61 +/- 0.24

-

Ladder Network

106 +/- 37

-

20.40 +/- 0.47

ADGM

96 +/- 2

22.86

-

FM

93 +/- 6.5

8.11 +/- 1.3

18.63 +/- 2.32

ALI

-

7.42 +/- 0.65

17.99 +/- 1.62

VAT small

136

6.83

14.87

Ours

79.5 +/- 9.8

4.25 +/- 0.03

14.41 +/- 0.30

附:

杨植麟个人主页http://kimiyoung.github.io/

Ruslan Salakhutdinov个人主页:

http://www.cs.cmu.edu/~rsalakhu/index.html

特别提示-Ruslan Salakhutdinov 教授最新深度学习教程下载:

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“RUDL” 就可以获取Ruslan Salakhutdinov 教授最新深度学习教程pdf下载链接

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2017-11-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI2ML人工智能to机器学习

随机眼里的临界

以前,来自清华的师兄给我讲过一句话, 叫随机过程随机过, 实变函数学十遍。 至今印象深刻。 我想说的是, 一遇概率脑子绝对不够用~~~

781
来自专栏TensorFlow从0到N

TensorFlow从1到2 - 0 - 前言

我是黑猿大叔,转战AI的大叔程序猿,你好。 ? 本篇是《TensorFlow从1到2》的前言,本主题将会涵盖现代卷积网络基础,及其TensorFlow实...

3596
来自专栏AI研习社

博客 | 什么是熵?

雷锋网 AI 科技评论按:「熵」大概是统计学、信息学里最让初学者愁肠百结的基本概念之一。我们都知道熵可以用来描述含有的信息丰富程度的多少,但是具体是怎么回事呢?...

802
来自专栏AI科技评论

干货 | 什么是熵?

雷锋网 AI 科技评论按:「熵」大概是统计学、信息学里最让初学者愁肠百结的基本概念之一。我们都知道熵可以用来描述含有的信息丰富程度的多少,但是具体是怎么回事呢?...

972
来自专栏机器之心

解读 | 替代图灵测试?让人工智能参加数学和科学考试

SyncedReview 作者:Shixin Gu 参与:Joshua Chou、Chain Zhang、熊猫 图灵测试在过去很长一段时间里都被认为是一种衡量人...

41512
来自专栏大数据文摘

手把手 | Python代码和贝叶斯理论告诉你,谁是最好的棒球选手

1634
来自专栏CreateAMind

变分自编码器(Variational Autoencoder, VAE)通俗教程,细节、基础、符号解释很齐全

现在有一个数据集DX(dataset, 也可以叫datapoints),每个数据也称为数据点。

1003
来自专栏PPV课数据科学社区

【学习】R语言与机器学习(分类算法)logistic回归

由于我们在前面已经讨论过了神经网络的分类问题,如今再从最优化的角度来讨论logistic回归就显得有些不合适了。Logistic回归问题的最优化问题可以表述为:...

2884
来自专栏CreateAMind

变分自编码器(Variational Autoencoder, VAE)通俗教程,细节、基础、符号解释很齐全

2433
来自专栏数据派THU

一文读懂深度学习模型近年来重要进展(附梳理图)

2446

扫码关注云+社区

领取腾讯云代金券