Goodfellow说,聊失败才不是在秀优越...

花栗子 编译自 Veronikach 量子位 出品 | 公众号 QbitAI
我们是五月的花海

五月了,美国研究生申请季也差不多过去了。不知道大家有没有成功脱离失学儿童团。

Ian Goodfellow是来自谷歌大脑的科学家。作为GAN的爸爸,他也是MIT科技评论选中的“35 under 35”中的一员。

不过,背着金光闪闪履历的他,就是爱讲自己的被拒史。大概,也是想给失落的人类一些虚无的希望吧。

非正式简历

这一次,他光顾了最适合秀失败的场所之一,访谈节目How I Fail,接受了金发碧眼的助理教授维罗妮卡 (Veronika Cheplygina) 的黄金12问。

看看,除了被MIT放凉了之外,Goodfellow还享受了怎样的失败——

实践篇

怎样描述自己的工作?

G:我是谷歌的AI研究人员,手底下还有一群小伙伴。我们就是要努力理解,AI是怎样失败的,这样才能建立一套清晰的工程原则,对AI开发负责。

看,我的手速

我把大量的精力花在研究怎样让AI更加安全上——比如怎样防止黑客欺骗AI系统,去做他们想做的事情。

怎样描述这份非官方履历?

G:我的小伙伴Moritz Hardt发推告诉大家,一段成功的科研事业,往往是从收到一大摞厉害的研究生院的拒信开始。

然后,我就列出了自己被拒的经历,回应了他。但那些 (上拉至推特截图) 经历并不是我完整的被拒旅程,以下这一份可能比较全——

· 那时候,还在斯坦福读本科的我,生物和化学都略显捉急,但还是打算从事神经学方面的工作。成绩是过得去,但感觉要当教授的话这分数还是不够好。

拒信收到手软

· 把重心移到计算机上之后,我就申请了几份本科生的实习,谷歌当时没要我

· 我还申请过一份跟着斯坦福教授工作的实习,申请的时候提交了成绩单。教授回复说,我的课你怎么得的A?

以我的成绩确实拿不到A,我还以为是curve太善良了,然而事实是系统出现了问题。结果学校就把我的成绩改下去了

真是个惊喜

· 有几家大型科技公司给了我实习,但不是做机器学习,也不是计算机视觉。简历里面,大家是看不到这些的,只能看到最后的成功。

不过,我也很感谢Willow Garage和斯坦福的CURIS项目,给了我关于机器人视觉的暑期实习机会。

欢迎明年再来

· 读研和读博的时候,我基本上没有过校外的fellowship。这就是说,我得当助教,或者选择专业相关的其他校内工作,很难把精力集中在自己的研究兴趣上。

那时,我一直在申像魁北克的PBEEE这样的fellowship。从09年开始的四年时间里,不停地尝试,从来没成功过。

直到13年,才从谷歌那里拿到了第一个深度学习的Fellowship。

· 读博期间,我的论文投到像ECCV这样的各种视觉会议,基本上都是被拒。我在机器人感知上做了很多,但都是不见天日。

怎样碾压挫折?

G:高中时期,我有三年都在学校的辩论队。两个教练很厉害,一个是Kerry Koda,一个是Thomas King。

我也很惊讶,这段经历居然可以在好几个不同的方面,给我的科研带来帮助。

光是对抗挫折,所有辩手都要训练,怎样从情感上对待失败。每一轮辩论都有输赢,没有谁可以一直赢。

如果长期受到辩论环境的浸染,就会习惯这种节奏,输掉一轮之后很快进入下一轮。输赢都属于动态平衡。

罗列失败=秀优越?

G:我发关于失败的推文,观众似乎都没有这样的感觉。也有一些人,还会谢谢我分享这些经历。

人们有这样的想法我完全可以理解,但我觉得大多数观众还是可以理解,我是希望帮助大家逃脱冒名顶替综合征 (Impostor Syndrome)。

不愿分享成功?

V:另一方面,你觉得人们会不会因为对失败习以为常,而不去分享自己的成功?

G:不会,我们基本上都是被动分享,不管是工作总结,还是申请资金的时候。

不是我要秀的

往会议和期刊投论文的时候,每个人都会用上自己的全部能量,尽情把成功的地方表现出来,把不太成功的部分都扫到地毯下面去。

我个人还是会尽力削弱这样的动力,但它还是不会很快就消失的。

哲学篇

离散的还是连续的?

V:之前,我们都是用一些离散的点,比如获得职位或者发表论文,来描述成功和失败。有没有其他类型的失败呢?

G:其实,我觉得那些离散的点,大多不是很重要。

我在推特上发过,申研究生的时候拒过我的学校列表,但那都还好,因为还是有很多学校录了我

比如,2009年我遇到最大的困境,不是收到MIT和CMU的拒信;而是不知道自己能不能在拿到录信的学校,比如斯坦福和伯克利,做起自己想做的研究

那时候很方,不知道我会跟着哪位教授,因为博士生有轮换制度,录信里面都没有明确的导师。于是,我跑去了蒙特利尔大学,提前把Yoshua Bengio锁定为我的导师。

读博时期,最大的困境是,我的大部分时间都花在,用无监督特征学习方法,来解决计算机视觉的监督学习问题。Alex, Ilya和Geoff赢了ImageNet比赛,我就懵B了。

耗费时间写那种钻进死胡同的论文,可能就是主要的失败了。

我的研究如果能影响其他人,那就是成功,即便被大会拒了也没关系。如果一项研究产生不了什么影响,就算在大会上发表了也可以算失败。

今天你失败了么?

V:有什么正在经历的失败么?或者对未来有什么犹疑?

G:4年了,我一直想了解,为什么神经网络那么容易被input里一点小小的干扰“迷乱心智”。怎么才能在这种情况下,建立一个高准确度的模型,没有谁知道。

从传统观点来看成败,今年ICML审稿很严,感觉我投的论文基本都没戏了。

但一个美好的日子,我可能会写出三五个想法,然后感觉它们都实现不了。每个想法的时间成本不高,我可以尝试很多完全不同的想法。某些想法上的失败,也就是我工作流程里最普通的一部分。

怎样才算成功?

V:要评判一个研究人员是否成功,你觉得成果的发表应该在评判标准里占到多大比重?有没有其他因素容易被忽略?

G:我们对成功的评判,可能会让这个领域错过许多成功人士。

举个栗子,我们要花很长时间来评估研究成果和研究人员,但我们没有花多少时间去考察这个评估过程本身

没有谁有义务去保证,大会的审稿是公平的是准确的。

从2014年NIPS的一致性实验里面,可以看出审稿流程还是有不少噪音的。可是从结果来看,并没有人要致力于制定出更好的审查流程。

升华篇

ML的失败,不是普通的失败?

V:你觉得机器学习领域跟失败之间的关系,和其他领域有什么不同?这会不会对不同人群产生不同的影响?

G:机器学习领域的期待值很高,因为这里总是可以快速产生很厉害的研究成果,并且能够帮助其他人快速产生研究成果。

比如,Ilya Sutskever在谷歌学术里,已经被引用过5万多次了;再看数学领域,最近的四位菲尔茨奖得主,没有一个引用数超过5千

我们这个领域,成功是爆发式的,这一点有些奇怪。一部分原因可能是,我们太爱用Arxiv.org了,而其他领域的研究人员可能更偏爱同行评审过的论文。

不过说实话,我也不知道这个现象会对不同人群产生什么样的影响。

怎么看待ML的负面/阴性结果?

G:机器学习很难从负面结果里获得价值,因为我们一般都不知道负面结果是怎样造成的。

得到负面结果,可能是想法从根本上就错了,也可能是因为一个很小的bug。不幸的算法,各有各的不幸。

想和ML老炮说什么?

G:我想跟他们说,关于某个想法的贡献应该怎样分配,学界需要一个更好的方式来处理争议。

现状是,那些自认没有获得应有的引用或者点名的人,得为自己维权

如果只是论文作者失误漏掉了,那还好说。但如果双方争执不下,场面就十分尴尬。

没有权威机构来裁决,协商又无果的情况下,大家只能回归“是胡萝卜还是大棒”的选择,可是大多数人也给不起胡萝卜。

一个资深教授,如果要向一个博士生要出处,压力就很大了。我受到的关注越多,也就要花越多的时间处理这种事。

如果某个会议或者期刊能生出一个部门,以第三方视角专门解决这样的争议,情况可能就会乐观很多。

想跟过去的自己,说什么?

G:快去用GPU挖矿啊。

采访结束了,重要的信息可能有很多,但我在意的是,为什么我碰不上系统bug给我个A的好事?

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2018-05-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PaddlePaddle

一周AI资讯|如果深度学习成为“侦探”,会发生什么?

Facebook在5月24日开始实施新政策,审查所有新推出的内容,特别是在新闻Feed,Instagram Feed和Facebook Stories中“政治内...

813
来自专栏邱翔的终身学习

iPhone X的Face ID有多安全?

33010
来自专栏新智元

【新智元笔记】反伊莉莎效应,人工智能的新概念

【立委按】隆重推出立委版人工智能新概念【反伊莉莎效应】,以后如果进了AI历史,各位都是见证人,发明权属于立委。 我: 人工智能里面有一个著名的现象,叫伊莉莎效应...

3225
来自专栏新智元

Google“快一亿倍”背后:量子计算到底是如何实现的?

日前,谷歌推出的D-Wave量子计算机,号称其解决问题的能力比其他任何计算机都快出一亿倍。有人认为是谷歌为夺人眼球,进行商业炒作;也有人认为谷歌制造出了量子计算...

4577
来自专栏新智元

AI 劳动节创意盘点:绘画、写作、识别情绪……匹敌人类创造力

【新智元导读】AI 正在展示出真正的创造力,它们像梵高一样绘画,像莎翁一样写作,像人类编剧一样创作着电影剧本。设计公司 SketchDeck 的联合创始人兼 C...

56612
来自专栏大数据文摘

从睫毛膏到太空垃圾,2018年度最佳数据可视化作品都在这了!

过去几年,对数据以及数据分析的关注可谓达到了一个新的高度。如今,数据和信息已经成为一种可以带来绝妙视觉观感的工具。曾经简单的图表和散点图,现在已经成了数据艺术中...

1405
来自专栏大数据文摘

MIT博士分析690万条视频后,得出...

1423
来自专栏大数据

大数据研究初体验 做找米的巧妇

CHARLES项目是由北京大学国家发展研究院主持、北京大学中国社会科学调查中心与北京大学团委共同执行的大型跨学科调查项目,该项目旨在调查收集一套代表中国45岁及...

20010
来自专栏人工智能头条

MSRA周明:计算机能“理解”多少我们的语言了?

1776
来自专栏CDA数据分析师

盘点 | 2018年度最佳数据可视化作品都在这了!

过去几年,对数据以及数据分析的关注可谓达到了一个新的高度。如今,数据和信息已经成为一种可以带来绝妙视觉观感的工具。曾经简单的图表和散点图,现在已经成了数据艺术中...

1501

扫码关注云+社区

领取腾讯云代金券