“GAN之父”专访：他用酒后的一个脑洞，改变了AI的发展

NEXTTECH

来源 |HACKERNOON

编辑 | ALI & ESTRELLA

Ian Goodfellow 是机器学习领域大神般的存在。

近日，这位 “GAN 之父” 接受了一次采访，他谈到了自己的科研经历，并介绍了自己对于科研、AI 行业和未来发展的一些看法。

熟悉人工智能的小伙伴们，对 Ian J. Goodfellow 一定不陌生。

作为一名有故事的算法工程师，古德费洛对深度学习领域做出的最大贡献就是发明生成对抗网络（GAN）。

但大多数人都不知道，在 GAN 诞生的背后，竟然是一个“酒后脑洞”的故事…

2014 年的一个晚上，Goodfellow 在酒吧给师兄庆祝博士毕业。一群工程师聚在一起不聊姑娘，而是开始了深入了学术探讨——如何让计算机自动生成照片。

当时研究人员已经在使用神经网络（松散地模仿人脑神经元网络的算法），作为“生成”模型来创建可信的新数据。但结果往往不是很好：计算机生成的人脸图像要么模糊到看不清人脸，要么会出现没有耳朵之类的错误。

针对这个问题，Goodfellow 的朋友们“煞费苦心”，提出了一个计划——对构成照片的元素进行统计分析，来帮助机器自己生成图像。

Goodfellow 一听就觉得这个想法根本行不通，马上给否决掉了。但他已经无心再趴体了，刚才的那个问题一直盘旋在他的脑海，他边喝酒边思考，突然灵光一现：如果让两个神经网络互相对抗呢？

但朋友们对这个不靠谱的脑洞深表怀疑。Goodfellow 转头回家，决定用事实说话。写代码写到凌晨，然后测试…

恐怕连 Goodfellow 本人都没想到，第一次测试就成功了。此刻他的内心一定在想：还有谁？并带着轻蔑的表情……

那晚他发明的东西，现在被称为 GAN（即生成对抗网络）。这项技术在机器学习领域引发了巨大的轰动，古德费洛也成了人工智能界的名人。

原来喝酒竟有如此神奇之功效，看来只有“酒仙”李白才能与之一较高下了。

能够采访古德费洛博士是一件很特别的事情。古德费洛在采访中聊到了他在深度学习领域的一些经历以及自己对该领域的一些想法。当然，必不可少的是他发明 GAN 的故事，还有他对年轻人学习该领域的一些建议。Goodfellow 博士的有趣经历都有些什么呢？让我们来看一看他在采访中是怎么说的吧。

Sanyam Bhutani，NeuroAscent联合创始人、数据科学家；

Ian Goodfellow，以下简称 IG。

Q

作为 Google AI 的科学家，同时也是“GAN 之父”，您能透露一下自己的科研经历吗？比如是什么时候开始研究 GAN 的？又是什么让您对深度学习产生兴趣的？

Ian Goodfellow:我本科时就开始学习人工智能了。那个时候，机器学习主要还是 SVM、boosted trees 等等。业余时间，我也写写游戏程序，会用 GLslang 完成一些小项目。

一次，我的朋友 Ethan Dreyfuss（现在在 Zoox 工作）向我提到了两件事：Geoff Hinton 发表了一个关于 DBN（深度信念网络）的技术演讲；还有 CUDA GPUs，这些东西在当时都是很新鲜的。

我意识到，深度学习可以弥补 SVM 的很多缺陷。一方面，SVM 在模型设计上并没有很大的自由度，而且即便投入很多的数据，它也没法变得更只能。但深度神经网络可以。另一方面，CUDA GPU 将训练更大的神经网络变为可能，而且我已经从游戏编程中学会了编写GPU代码。

在寒假期间，我和 Ethan 开始在斯坦福大学搭建第一台 CUDA 机器，用它训练玻尔兹曼机。

Q

就像您说的，您只花了一晚上时间就写出了第一个 GAN 模型，拿给其他人的话，可能要花上几个月或是几年。能谈谈您是怎样迅速取得突破的吗？

Ian Goodfellow:如果你有一个新的想法，同时还有一个相关的高质量代码库，那实现起来就容易多了。其实在那之前，我和同事们就已经围绕 Theano 和 Pylearn 2 做了几年工作，这些都是构建第一个 GAN 的基础。早年前有篇叫做 Maxout Network 的论文，我们曾仿照它搭建了个 MNIST 分类器，而 GAN 的部分代码，就是直接从中复制粘贴来的，而且其中的超参数在 GAN 中也很有效，所以我们不用做太多新工作。此外，MNIST 模型训练非常快，我记得第一个 MNIST GAN 只花了一个小时左右的时间。

Q

自从 GAN 诞生以来，我们已经在 GAN 上看到很多可喜的进展，哪一个让你最兴奋？

Ian Goodfellow:很难选择。当 Emily Denton 和 Soumith Chintala 提出 LAPGAN 时，我才真正意识到 GAN 的广大前景。当然，LAPGAN 只是对广阔未来的一个小尝试。

Q

除了 GAN，您最看好深度学习的哪个领域呢？

Ian Goodfellow:我花了大量时间研究对抗样本的鲁棒性，在部分对安全性有要求的应用场景中，鲁棒性显得至关重要。我也希望它能帮助我们更好地理解机器学习。

Q

对于那些希望进入深度学习领域，梦想未来在谷歌工作的小白和读者来说，你有什么建议？

Ian Goodfellow:首先要打牢基础：编程、调试、线性代数、概率论。大多数高级项目看重的往往是参与者基础知识有多扎实，而非了解多少先进技术。

举个例子，因为要调试内存泄漏，我今天就无法进行试验，我还在加快软件库的单元测试，以便尝试更多研究思路。

在读本科和博士时，我经常回去向吴恩达讨教。他总是建议我要彻底掌握这些基础知识。当时我觉得很无聊，希望他能多和我说说超实数之类的东西，但现在回头看，他的建议无疑是正确的。

Q

在谷歌的一天是什么样子的？

Ian Goodfellow:对于不同岗位，甚至对于不同的职业阶段，谷歌的生活是都是不一样的。

有时候，我会花大部分时间写代码、做实验、读论文；有时也会花上大半天写深度学习相关的书籍；也有奔波于不同会议、不同研究项目之间的时候。对于现在的我而言，60% 的时间检查别人的工作，剩下 40% 处理自己的项目。

Q

人们普遍认为，深度学习如果想要取得显著的效果，就必须有大量的资源投入。在您看来，如果一个人没有 Google 所能提供的那么多资源，他能否在这个领域取得成就呢？

Ian Goodfellow:

当然可以，但前提是你有一个合适的研究项目。比如，证明一个有趣的理论可能并不需要任何计算资源；同样的，写一个只需极少数据、但性能好的算法也不需要超大型的数据集。但是，如果你没有足够多的硬件做并行计算，那就不要去尝试构建全世界训练速度最快的 ImageNet 分类器。

Q

深度学习的研究在爆炸式增长，您怎样才能跟上发展的速度呢？

Ian Goodfellow:

就在不久前，尤其是我写书的那段时间，我还觉得自己已经掌握了深度学习的所有知识。但今天我不敢这么说了，我的精力只允许我关注与自己研究有关的领域，我甚至都不知道 GAN 的最近进展。

Q

您觉得机器学习被高估了吗？

Ian Goodfellow:就其长期潜力而言，我倒是觉得机器学习反而被低估了，从某种意义上说，科技圈以外的人似乎并没有像我认为的那样，对它津津乐道。不过，我确实认为机器学习经常被“错误炒作”：人们会夸大现有技术的能力，或者炒作某个项目的进展神速，等等。

Q

您认为读硕士、博士有必要吗？或者一个“非专家”的人，能否对深度学习领域做出贡献呢？

Ian Goodfellow:我认为专业知识确实很重要，但博士并不是获得专业知识的唯一途径。优秀的博士往往都是自学型人才，只要有时间和经历，他也能够边工作边成长。

Q

最后一个问题，对于那些感到茫然的初学者，您有什么建议吗？

Ian Goodfellow:

先从一个简单的项目开始，重新去做那些你有把握的事情，比如 CIFAR-10 分类器。很多人一开始就想挑战新项目，一旦失败了，你都搞不清是自己的思路有问题，还是项目压根儿就行不通。尽管如此，我还是认为从一个项目着手是最有效的，深度学习就像开飞机，你可以通过课本学习理论，但实操经验和从中发展出的直觉，也同样至关重要。

「NEXTTECH团队」等你来

兼职内容作者 | 翻译实习生 | 内容实习生