Ian Goodfellow：我最大的失败是用无监督解决计算机视觉的监督学习问题

来自：新智元 翻译：肖琴

Ian Goodfellow是谷歌大脑团队的staff research scientist，负责领导一个研究AI中对抗技术的研究团队。他入选了MIT技术评论的“35 under 35”，他是生成对抗网络（GAN）的发明者，还是《深度学习》一书的主要作者。最近，他参加了一个名为“How I Fail”的访谈，吐露自己失败的经历。

1. Hi Ian~感谢加入“How I Fail”系列的访谈！你能告诉我们一些关于你自己的事吗？

Ian Goodfellow：谢谢你邀请我！

我是谷歌的一名AI研究员，领导一个研究团队。我们正在致力于更好地理解AI失败的情况，以便我们能够为负责任的AI开发建立明确的工程原则。我的个人时间大部分都在学习如何使AI安全——例如，如何确保恶意攻击者无法欺骗AI系统去执行攻击者的意图，而不是设计者的意图。

2.在Twitter上，你曾经发过一份被拒绝学校的名单，可以详细说说吗？

Ian Goodfellow：当时，我的同事 Moritz Hardt 在Twitter上提醒大家，说“要记住，一个典型的成功的学术生涯的开端，是被一批优秀的研究生院拒绝。”

我于是回复了一份我被拒绝的研究生院和奖学金的名单。当时只是简单列举了，这里是更完整的故事：

在斯坦福大学念本科时，我在为从事神经科学的工作做准备的同时，曾在生物和化学课上苦苦挣扎。我的成绩很好，但我觉得自己做得不够好，无法成为一名教授。

当我将注意力转向计算机科学后，我作为本科生申请了几个实习。值得一提的是，谷歌拒绝了我的实习申请。

我曾经申请过一名斯坦福大学教授的暑期实习。申请材料中包含了我的成绩单。教授回复我：“为什么你在我的课上有一个A？”原来，我实际上并没有在那门课上得到A。我以为是教授评分慷慨，但其实只是因为电脑故障。那次实习申请的结果是斯坦福给我的成绩单降低了评分。

其他的大型科技公司给我提供了实习机会，但不是在机器学习或计算机视觉领域工作。在我的简历上，你看不到这些失败，只是看到最终的成功（我非常感谢Willow Garage和斯坦福大学的CURIS项目让我有机会在夏季实习期间研究机器人视觉）

在我的硕士和博士阶段，我大部分时间都没有获得外部奖学金。这意味着我不得不当教学助理，或费心申请专门的补助金，而无法专注于我的研究兴趣。我不断地申请奖学金，比如魁北克的PBEEE。我在2009 - 2013年每年都尝试申请，但并没有获得，直到2013年，Google给了我第一个深度学习的PhD Fellowship。

像ECCV这样的视觉会议拒绝了我在博士之前写的大部分论文。我做了很多有关机器人感知的工作，但这些工作从未见过天日。

3.你认为哪些因素帮助你克服了这些挫折？

Ian Goodfellow：在高中时，我在学校的辩论队里呆了三年，由两位非常出色的老师指导：Kerry Koda和Thomas King。

在我的科学职业生涯中，这段辩论的经历经常在不同的方面帮助到我，这令我很惊讶。在克服挫折方面，辩论是有用的，因为辩论者都学会了如何处理失败情绪。每场辩论都有胜利者和失败者。没有人能够一直胜利。如果你坚持辩论的时间很长，你很快就会习惯输掉一轮比赛时的挫折感，然后立即去另一个教室再进行另一轮比赛，习惯输掉一场锦标赛，然后在下个周末马上去参加另一场比赛。你学会了不去反刍失败和自责。此外，你对自己期望会得到很大调整。你会习惯不断地经历失败和成功。

4.对于简历的这段失败经历，有些回应说这是你谦虚的自夸，你的回答是什么？

Ian Goodfellow：我之前在推特上公开这些事时，人们并没有这样回复。很多人感谢我分享这些信息。我完全可以理解为什么有人会认为这是一种谦虚的自夸，但我想大多数人也明白我这样做是为了帮助其他人摆脱妄自菲薄。

5.另一方面，你是否认为失败是普遍的，人们可能会决定不分享他们的成功？

Ian Goodfellow：不，我们基本上都是被迫分享成功，无论是工作中的绩效评估，还是在申请资金等方面。在向会议和期刊提交论文时，每个人都很有动力去展示他们论文的优势，并试图将缺点掩盖。我个人尽可能地反对这种动机，但我不认为这会很快消失。

6.到目前为止，我们谈论的成功和失败都源于一些独立的决策，还有其他类型的事情可以令人失败，你自己是否有这样的经历？

Ian Goodfellow：实际上，我认为大多数独立的失败事件（被接受/被拒绝某个特定的研究生课程，或被接受/被拒绝提交给会议的论文等）并不重要。

我在推特上说自己被很多研究生院拒之门外，但这没什么，因为我也被其他很多学院接受了。

例如，在2009年，我遇到的最大的障碍不是被一些顶尖学校比如MIT和CMU拒绝，而是我没法确定在其他接受了我的院校里（比如斯坦福和伯克利）能否做想做的研究。也不知道导师是谁，而且这些学校支持深度学习研究的导师相对较少。我选择去蒙特利尔大学来克服这一障碍，因为可以提前选Yoshua Bengio做导师。

我认为最大的失败可能是，我在博士期间大部分时间都在试图用无监督的特征学习方法去解决计算机视觉的监督学习问题，而当Alex、Ilya和Geoff 用纯粹的监督方法赢得了ImageNet竞赛时，我完全是措手不及。我想，浪费时间在写论文上，而且这些论文完全没见得天日，这是我失败的主要原因。特别是现在，在arxiv.org上发表文章是很正常的。如果一篇文章影响到其他研究人员，哪怕被会议拒了，我认为这个工作仍然是成功的；如果一篇文章没有产生任何影响，哪怕它被会议接收了，这个工作仍然是失败的。

7.有没有什么事情是你觉得你目前做失败了的，或者你对它的未来犹豫不决的?

Ian Goodfellow：我一直在努力理解为什么神经网络很容易被输入的小小扰动所迷惑（通过自己直接的研究工作，以及努力增加其他研究人员对这个主题的兴趣），这个问题已经提出近4年，仍然没有人知道在这种设置下如何构建高精度的 模型。

从职业成功的传统衡量标准来看：我今年提交给ICML的论文的评审意见尤其残酷，预计它们中的大部分都会被拒。

另一件值得一提的事情是：我工作的方式。我会快速地尝试一些想法，看看它们是否有成功的希望，然后放弃掉大部分想法。当我有很多时间时，我可能会对3-5个想法编码，然后可能发现它们都不work。每个想法投入的时间成本很小，但我可以尝试大量不同的想法。从这个角度来看，失败只是我工作流程中固定的一个部分。

8.说到成功的研究人员，你如何看待论文发表之类的权重的分布？是否存在一些容易被忽视的因素？

Ian Goodfellow：我认为我们衡量成功的标准正在导致社会错失所有的成功人士。

例如，我们花费大量时间评估工作和评估人员，但我们并没有花费大量时间评估这个评估过程本身。没有人负责确保会议审查流程公平和准确。从Eric Price写的NIPS experiment这篇文章就发现，评审过程中存在很多噪音（Eric Price发现，领域主席们在处理论文时经常意见不一致的情况比意见一致的情况更多），但是没有人带头提出更好的审查流程。研究社区应该重视提高整个社区效益的努力，但到目前为止，我们似乎没有任何方法为这些努力提供价值。

9.你认为机器学习领域的失败与其他领域的失败有不同吗？是否以不同的方式影响着不同的人群？

Ian Goodfellow：机器学习对快速产生大量成功的工作和对其他人的工作产生影响这方面有很高的期待。例如，Ilya Sutskever在Google学术搜索的引用量超过50000次，而在数学领域，菲尔兹奖最近的四名获奖者没有一个引用量超过5000。这很奇怪，在我们这个领域，成功是如此的具有爆炸性。可能部分原因是我们经常使用arxiv.org，而不是主要关注同行评审的出版物。说实话，我不太了解这是如何影响不同群体的。

10.你对机器学习的负面结果有何看法？

Ian Goodfellow：我认为很难在机器学习的负面结果中找到价值，因为很难知道造成负面结果的原因。一个负面的结果可能是由于想法本身根本就是错的，但也可能只是一个出于非常小的一个软件错误，尝试的超参数不对，模型太小，等等。

11.你想给过去的自己提什么建议？

Ian Goodfellow：我希望我使用一部分为深度学习购买的GPU来挖一些比特币。

- 今晚直播 -