吴恩达对话GAN之父Ian Goodfellow

2018-04-07 我们回顾了吴恩达与Yoshua Bengio对话。今天我们就继续回顾一下吴恩达与GAN之父Ian Goodfellow对话的精彩片段

往期回顾

吴恩达对话Ian Goodfellow

Ian Goodfellow是谁？

答：GAN的创造者！！！《Deep Leaning》（又名花书）的作者！！！

吴恩达：你是怎样一步步进入这行呢？

Bengio：我想我是遇到您之后才开始对机器学习感兴趣的。我最开始学的是神经科学。我本科时代导师斯坦福大学的Jerry Cain鼓励让我去上您（吴恩达）的 AI 课程。在上您的AI入门课程时，Goodfellow 看到了线性回归、variants decomposition……等等概念。后来，在朋友的影响下，他读了 Hinton 关于深度信念网络的论文，感到非常激动，自己和朋友在斯坦福建造了基于 CUDA 的 GPU 机器，专门来跑波尔兹曼机。这让我意识到，深度学习是一门科学（real science），我可以把自己的研究生涯建立在这个基础上。

我当时意识到深度学习是未来的大方向。因为深度学习不像当时的其他方法，比如 SVM（SVM 数据增多训练就变慢，也不会改进效果），于是尽可能地专注于深度学习。起初是用自己和朋友出钱，在Ethan妈妈的家里弄，后来才开始用斯坦福实验室的资金做一些研究。

吴恩达：GAN 是当前讨论最多的深度学习方法之一，你是如何想出来的呢？

Bengio：我一直在研究生成模型，所以GAN是其中的一种。当我在一个酒吧里跟朋友争论生成模型时，灵感来了，我开始告诉他们，你们应该这么做这么做这么做，我保证管用。但是朋友不信，于是我直接晚上回去开始做实验，只花了一晚上就调试成功第一个GAN了。

我很幸运第一次就 work 了，这样他不用去调参数。实际上当时我正在写《深度学习》这本书。

吴恩达：听说你有一次临死体验？可以说说吗

Bengio：我其实没有涉死啦，但有那么一瞬间我觉得要死了。当时我头超级超级痛，可能是大脑出血，在等 MRI 检查结果的时候，我意识到。我的大部分想法是要确定有其它人继续尝试研究我当时的研究思路。虽然现在想来，都是些很稚嫩的概念，但是，我意识到从事AI研究是他人生的第一大事。

吴恩达：可以告诉我，你怎么看GAN的未来吗？

Bengio：GAN 属于生成模型的一种，虽然现在应用很多，但训练十分不稳定。我认为，实际上 GAN 能做的事情很多其他生成模型也能做，现在 GAN 正处于交叉路口，如果能稳定下来，甚至能像深度学习那么可靠，那么 GAN 就能真正发展起来。如果不能，那么 GAN 将会被其他方法取代，成为发展中的一个过程。现在，我有大约 40% 的时间用在稳定 GAN 上面。

GAN

什么是对抗生成网络（GANs）?

生成对抗网络是一种生成模型（Generative Model），其背后最基本的思想就是从训练库里获取很多的训练样本（Training Examples），从而学习这些训练案例生成的概率分布。

一些生成模型可以给出概率分布函数定义的估测，而另一些生成模型可以给你全新的样本，这些新样本来自于原有生成训练库的概率分布。

PPT最底下一排图片来自于ImageNet的数据库，左边是训练图片，右边我们可以看作是一个理想的生成模型所产生的照片（实际上右边的照片依然是从ImageNet库里选取的，我们的系统目前还没有成熟到可以生成这种真实感）。

GANs的方法，就是让两个网络相互竞争“玩一个游戏”。

其中一个叫做生成器网络（ Generator Network），它不断捕捉训练库里真实图片的概率分布，将输入的随机噪声（Random Noise）转变成新的样本（也就是假数据）。

另一个叫做判别器网络（Discriminator Network），它可以同时观察真实和假造的数据，判断这个数据到底是不是真的。

所以整个训练过程包含两步，（在下图里，判别器用 D 表示，生成器用 G 表示，真实数据库样本用 X 表示，噪声用 Z 表示）。

第一步，只有判别器D参与。

我们把X样本输入可微函数D里运行，D输出0-1之间的某个值，数值越大意味着X样本是真实的可能性越大。在这个过程中，判别器D尽可能使输出的值靠近1，因为这一阶段的X样本就是真实的图片。

第二步，判别器D和生成器G都参与。

我们首先将噪声数据Z喂给生成器G，G从原有真实图像库里学习概率分布，从而产生假的图像样本。然后，我们把假的数据交给判别器D。这一次，D将尽可能输入数值0，这代表着输入数据Z是假的。

所以这个过程中，判别器D相当于一个监督情况下的二分类器，数据要么归为1，要么归为0。

与传统神经网络训练不一样的且有趣的地方，就是我们训练生成器的方法不同。生成器一心想要“骗过”判别器。使用博弈理论分析技术，我们可以证明这里面存在一种均衡。

参考

[1]吴恩达对话Ian Goodfellow ：人脑研究到人工智能研究

https://www.bilibili.com/video/av14162513?from=search&seid=7273631067780323454

--------我是可爱的分割线--------

看完吴恩达和GAN之父Ian Goodfellow的对话，是不是迫不急待地想继续学习深度学习来呢？

那就快快看视频做项目吧！