吴恩达对话GAN之父Ian Goodfellow

2018-04-07 我们回顾了吴恩达与Yoshua Bengio对话。今天我们就继续回顾一下吴恩达与GAN之父Ian Goodfellow对话的精彩片段

往期回顾

吴恩达对话Ian Goodfellow

Ian Goodfellow是谁?

答:GAN的创造者!!!《Deep Leaning》(又名花书)的作者!!!

吴恩达:你是怎样一步步进入这行呢?

Bengio:我想我是遇到您之后才开始对机器学习感兴趣的。我最开始学的是神经科学。我本科时代导师斯坦福大学的Jerry Cain鼓励让我去上您(吴恩达)的 AI 课程。在上您的AI入门课程时,Goodfellow 看到了线性回归、variants decomposition……等等概念。后来,在朋友的影响下,他读了 Hinton 关于深度信念网络的论文,感到非常激动,自己和朋友在斯坦福建造了基于 CUDA 的 GPU 机器,专门来跑波尔兹曼机。这让我意识到,深度学习是一门科学(real science),我可以把自己的研究生涯建立在这个基础上。

我当时意识到深度学习是未来的大方向。因为深度学习不像当时的其他方法,比如 SVM(SVM 数据增多训练就变慢,也不会改进效果),于是尽可能地专注于深度学习。起初是用自己和朋友出钱,在Ethan妈妈的家里弄,后来才开始用斯坦福实验室的资金做一些研究。

吴恩达:GAN 是当前讨论最多的深度学习方法之一,你是如何想出来的呢?

Bengio:我一直在研究生成模型,所以GAN是其中的一种。当我在一个酒吧里跟朋友争论生成模型时,灵感来了,我开始告诉他们,你们应该这么做这么做这么做,我保证管用。但是朋友不信,于是我直接晚上回去开始做实验,只花了一晚上就调试成功第一个GAN了。

我很幸运第一次就 work 了,这样他不用去调参数。实际上当时我正在写《深度学习》这本书。

吴恩达:听说你有一次临死体验?可以说说吗

Bengio:我其实没有涉死啦,但有那么一瞬间我觉得要死了。当时我头超级超级痛,可能是大脑出血,在等 MRI 检查结果的时候,我意识到。我的大部分想法是要确定有其它人继续尝试研究我当时的研究思路。虽然现在想来,都是些很稚嫩的概念,但是,我意识到从事AI研究是他人生的第一大事。

吴恩达:可以告诉我,你怎么看GAN的未来吗?

Bengio:GAN 属于生成模型的一种,虽然现在应用很多,但训练十分不稳定。我认为,实际上 GAN 能做的事情很多其他生成模型也能做,现在 GAN 正处于交叉路口,如果能稳定下来,甚至能像深度学习那么可靠,那么 GAN 就能真正发展起来。如果不能,那么 GAN 将会被其他方法取代,成为发展中的一个过程。现在,我有大约 40% 的时间用在稳定 GAN 上面。

GAN

什么是对抗生成网络(GANs)?

生成对抗网络是一种生成模型(Generative Model),其背后最基本的思想就是从训练库里获取很多的训练样本(Training Examples),从而学习这些训练案例生成的概率分布。

一些生成模型可以给出概率分布函数定义的估测,而另一些生成模型可以给你全新的样本,这些新样本来自于原有生成训练库的概率分布。

PPT最底下一排图片来自于ImageNet的数据库,左边是训练图片,右边我们可以看作是一个理想的生成模型所产生的照片(实际上右边的照片依然是从ImageNet库里选取的,我们的系统目前还没有成熟到可以生成这种真实感)。

GANs的方法,就是让两个网络相互竞争“玩一个游戏”。

其中一个叫做生成器网络( Generator Network),它不断捕捉训练库里真实图片的概率分布,将输入的随机噪声(Random Noise)转变成新的样本(也就是假数据)。

另一个叫做判别器网络(Discriminator Network),它可以同时观察真实和假造的数据,判断这个数据到底是不是真的。

所以整个训练过程包含两步,(在下图里,判别器用 D 表示,生成器用 G 表示,真实数据库样本用 X 表示,噪声用 Z 表示)。

第一步,只有判别器D参与。

我们把X样本输入可微函数D里运行,D输出0-1之间的某个值,数值越大意味着X样本是真实的可能性越大。在这个过程中,判别器D尽可能使输出的值靠近1,因为这一阶段的X样本就是真实的图片。

第二步,判别器D和生成器G都参与。

我们首先将噪声数据Z喂给生成器G,G从原有真实图像库里学习概率分布,从而产生假的图像样本。然后,我们把假的数据交给判别器D。这一次,D将尽可能输入数值0,这代表着输入数据Z是假的。

所以这个过程中,判别器D相当于一个监督情况下的二分类器,数据要么归为1,要么归为0。

与传统神经网络训练不一样的且有趣的地方,就是我们训练生成器的方法不同。生成器一心想要“骗过”判别器。使用博弈理论分析技术,我们可以证明这里面存在一种均衡。

参考

[1]吴恩达对话Ian Goodfellow :人脑研究到人工智能研究

https://www.bilibili.com/video/av14162513?from=search&seid=7273631067780323454

--------我是可爱的分割线--------

看完吴恩达和GAN之父Ian Goodfellow的对话,是不是迫不急待地想继续学习深度学习来呢?

那就快快看视频做项目吧!

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180410B1XQQ200?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券