“GAN之父”：当初为了深度学习买GPU，现在后悔没多挖点比特币

翻译|shawn

编辑 | 阿司匹林

Ian Goodfellow 是谷歌大脑团队的一名研究科学家，他带领的研究团队负责研究 AI 领域中的对抗技术。他是生成式对抗网络（GANs）之父，《麻省理工科技评论》（MIT Technology Review）“35 名 35 岁以下科技创新者”得主，同时还是经典教材《深度学习》的主要作者。

然而，Ian Goodfellow 在成名之前并非一帆风顺，而是历经挫折。在近日的采访中，这位如今的 AI 明星向外界袒露心声，并一一列举自己在成功前的种种遭遇。

如何克服挫折？

如何评价当前的工作？

对以前的自己有什么建议？

......

希望 Ian Goodfellow 的切身经历和体会，能给大家一些启发和鼓励。

1. 您能简单介绍一下你自己吗？

我是 Google 的一名 AI 研究员，我带领的研究团队致力于更好地理解 AI 系统的失败，以便为负责任地发展 AI 制定明确的工程原则。我大部分时间都在研究如何让 AI 更安全，比如：如何确保 AI 系统能识别恶意袭击者的欺骗，不被袭击者利用。

2. 您在推特上发了一连串曾经被拒绝的经历，您能详细讲一下这些经历吗？就当作是您的「非正式的自传」？

我的同事 Moritz Hardt 在推特上发文提醒大家“每年的这个时候都要谨记，成功学术事业的开始，总少不了被好的研究生院拒绝的经历”。

下面是我学术生涯中的一些失败经历：

当我还在斯坦福大学读本科的时候，我立志日后从事神经科学工作，但我的生物和化学学得很辛苦。我的成绩还算不错，但是我不认为我能成为一名教授。

后来我转而研究计算机科学，我申请了好几个本科生实习职位。值得一提的是，Google 拒绝了我。

我曾经申请过一位斯坦福大学教授的夏季项目。我在申请书中附上了我的成绩单，他回复我“为什么你在我的课上得到了A？”。原来他给我的成绩实际上并不是 A。我原本认为是教授给分很慷慨，但是结果只是计算机计算分数时出了问题。结果我的实习申请不但没有成功，反而让学校调低了我的成绩。

我收到了其他几家大型科技公司的实习邀约，但是工作内容都与机器学习或计算机无关。在我的简历中，你看不到这些失败经历，只有最终的成功经历（我非常感谢 Willow Garage 公司和斯坦福大学的 CURIS 项目给了我从事机器人视觉工作的实习机会）

读硕士和博士期间，我大部分学期是没有外部奖学金的。这意味着我必须担任教学助理的工作或研究有补助金的特定课题，这样我就不能专注于我的研究兴趣。后来，我继续申请了PBEEE（魁北克国外学生优秀奖学金）等奖学金项目。从 2009 到 2013 ，我的申请都被拒绝了，直到 2013 年第一学期，Google 给了我第一个深度学习博士奖学金。

ECCV 等计算机视觉大会拒绝了我在读博士之前写的大部分论文。我在机器人感知上做了很多研究，但是论文都未能发表。

3. 您认为是哪些因素帮助您克服了这些挫败？

上高中的时候，我在学校的辩论队呆了三年，教练是两位非常优秀的教师 Kerry Koda 和 Thomas King。

我的辩论经验在很多方面帮助了我的科学事业，这让我很惊讶。辩论经验在克服挫败时能派上用场，因为辩手们都懂得如何在情绪上应对失败。每一轮辩论都有一个胜者和一个败者。没人永远都是胜者。如果你辩论的时间长了，你就会快速地习惯这样一种想法——败了一轮后马上换个地方再来一轮。你会学会避免过度反思和自责，而且你的预期也会经常进行调整。你会适应失败与成功的不断交替。

4. 有些人认为向外界展示曾经的失败经历其实是一种谦虚的自夸，您对此的看法是？

我在推特上发表我被拒绝的经历时，人们的反应不是这样。很多人感谢我分享这些经历。我可以理解为什么有人将我的这种行为看作是谦虚的自夸，但是我认为大多数人理解我这么做是为了帮助其他人摆脱 Impostor Syndrome。（冒名顶替综合症，用以指称出现在成功人士身上的一种现像。患有冒名顶替症候群的人无法将自己的成功归因于自己的能力，并总是担心有朝一日会被他人识破自己其实是骗子这件事。他们坚信自己的成功并非源于自己的努力或能力，而是凭借著运气、良好的时机，或别人误以为他们能力很强、很聪明，才导致他们的成功 。——维基百科）

5. 如果说失败很常见，你认为人们是否可能反而不愿意分享他们的成功经历？

我不这么认为。基本上，我们分享自己的成功经历都是被迫的，不是为了工作业绩审核，就是为了申请奖学金……在向学术会议和学术期刊提交论文时，每个人都会在外界的鼓动下展示他们论文的优点，隐藏缺点。虽然我本人非常反对这种鼓动行为，但是我不认为这种行为短时间内这种会消失。

6. 之前我们谈的都是一些带有离散决策属性的事件，比如获得职位和发表论文。还有什么其他类型的失败事件吗？您本人有这方面失败的经验吗？

我认为失败当中的大多数离散点（被某一所研究生院录取或拒绝，或者论文被某一学术会议接受或拒绝）并不是那么重要。

我在推特上发了被很多研究生院拒绝的经历，被拒绝没什么了不起，因为也有很多研究生院接受了我。

比如，2009 年我遇到的最大的难题不是被 MIT 和卡内基梅隆大学等顶尖名校拒绝，而是不确定我是否能够在接受我的斯坦福大学和加州大学伯克利分校等顶尖名校中做我想做的研究。我不知道我的导师会是谁（因为新入学的博士生要参加导师轮流计划，在收到录取通知时导师并没有分配好）。在这些学校的导师中，很少有人支持深度学习研究。最终我选择了蒙特利尔大学，并提前选择了 Yoshua Bengio 作为我的导师。

我认为我遭遇的最大的失败可能是：读博士期间我大部分时间都在试图用无监督特征学习方法解决计算机视觉的监督学习问题，而当 Alex、Ilya 和 Geoff 因为用监督学习解决了这个问题而赢得 ImageNet 竞赛冠军时，这完全出乎我的意料。我认为，将时间浪费在写论文上，结果论文走入死胡同，这是我自己失败的主要方式。现在在 arxiv.org 上发表论文变得很普遍，如果我的论文对其他研究者有影响，即使被学术会议拒绝，我也认为我的论文成功了。如果我的论文的影响很小，即使被学术会议接收了，我也会认为我的论文失败了。

7. 目前您觉得有什么事让您感觉很失败或者不确定吗？

四年以来，我一直在努力理解轻微干扰输入为什么会很容易让神经网络困惑。一方面我自己进行这方面的研究，另一方面我努力让其他研究人员对这个课题感兴趣，帮助解决这个问题。但是，现在还是没人知道如何在这个问题上构建一个高精度模型。

如果事业成功的传统标准来衡量：今年我提交给国际机器学习大会（ICML）的论文得到了非常 brutal （残忍）的评价，预计我的大部分论文都会被拒绝。

还有一件事值得一提：我做研究的方式是快速尝试若干想法，检验它们是否有希望，然后淘汰大部分想法。如果当天时间充足的话，我可能会验证 3-5 个想法，最后发现它们全都不可行。我在每个想法上投资的时间很少，但是我可以验证很多不同的想法。从这个角度看，在某些想法上遭遇失败只是我工作的一部分而已。

8. 你认为在评价研究者是否成功时，论文发表占多大比重？还有哪些常被忽视的评价因素？

我认为人们评价成功的标准使社会忽视了某些意义上的成功人士。

例如，我们花很多时间评价别人和他们的工作，但是我们很少关注评价过程本身。没人确保会议论文评审过程的公平性和准确性。NIPS 实验告诉我们，评审过程中存在很多干扰（Eric Price 证明了评审们在如何处理某一篇论文上意见相左的情况要比意见一致的情况多）。目前，还没有人率先尝试制定更好的、有证据表明确实有效的评价程序。研究界应该重视能够改善整个研究界研究效率的工作，但是目前我们对这些工作一点也不重视。

9. 您是否认为机器学习这个领域与失败有着某种独特的关系？这种关系会对不同群体产生不同的影响吗？

在机器学习界，大量成功论文快速发表并影响着其他论文的快速涌现，这一点其他领域望尘莫及。举例来说，Ilya Sutskever 的论文在谷歌学术搜索（Google Scholar）拥有超过 5 万次的引用。在数学界，最近的菲尔兹奖（Fields Medal）获得者没有一人的论文引用次数超过 5 千次。

在机器学习界，论文的成功是爆炸性的，这非常奇怪。有一部分原因是我们在 arxiv.org 上发表论文，而不是主要靠同仁评审论文。说实话，我不清楚这会对不同的群体产生什么样的影响。

10. 您怎么看待机器学习中的负面结果？

我认为从机器学习中的负面结果中提取价值很困难，因为造成负面结果的原因可能很难说清楚。负面结果可能引向某个想法的根本性错误，但是也可能只是由非常小的软件故障、超参数值取值不当、模型太小等因素造成的。

11. 如果您有机会见到机器学习界所有的资深学者，您会对他们说什么？

如果我可以见到机器学习界所有的资深学者、会议组织者或期刊编辑，我会对他们说：机器学习界需要找到更好的方法来解决论文贡献（credit）争论。

目前，如果有人觉得其对某篇论文应有的贡献（credit）没有在该论文中充分提及，直接联系作者可能是最常见的争议解决方法。如果只是因为论文作者疏忽的缘故（新论文的作者不知晓旧论文），这种方法就可行，但是如果双方意见不同，局面可能就会变得很难看。当没有中心权威机构而且说服不成功时，这些论文作者可能就会补偿或威胁另一方，但是大多数人是给不出多少补偿的。

如果受到不公平待遇的是有名的资深教授，向初级研究员（例如博士生）要求 credit 是非常难堪的。

我的论文在机器学习界名声打响后，我在处理这种纠纷上浪费的时间越来越多。

如果某个学术会议或期刊能够建立一个中心机构，安排中立的第三方仲裁这些纠纷，情况就会好很多。

12. 对以前的自己有什么建议？

当年我为了深度学习而购买的 GPU，应该用来多挖点比特币。

作者：Veronika

原文地址：

http://www.veronikach.com/how-i-fail/how-i-fail-ian-goodfellow-phd14-computer-science/