我在谷歌大脑这一年

问耕 编译整理 量子位 出品 | 公众号 QbitAI

这篇文章的原作者是Colin Raffel。他2016年于哥伦比亚大学获得电子工程博士学位,随后入选谷歌大脑为期一年的Residency项目(类似访学)。

过去一年我都在Google Brain Residency项目里,这也是我获得博士学位后的第一年。在这篇博文中,我会介绍一下Residency,以及我在这里的研究等等。

Residency

过去一整年,总有人问我Residency到底是什么?因为这也是谷歌大脑第一次搞这个计划。我听过的最准确回答是:这有点像读博的一年,只不过你在谷歌大脑,而不是身在某所大学里面。

如果你刚刚接触机器学习,这个过程可能更像博士生的第一年;如果你已经是机器学习的老手,可以做研究、写论文,那么这个过程可能更像博士生的最后一年。

我认为这是一个恰当的描述,因为我的日常和工作,与我在读博期间相比没有任何变化。具体来说,我每天早上会花一两个小时读论文,然后用一整天来编写代码运行实验。

时不时地,我会参加谷歌大脑研究人员或访客的讲座。有不少人变成了我的“导师”,我会跟他们讲我的研究进展,并获得反馈。以及,我也会赶在截止日期之间,把我的实验结果写入论文,投递给一个又一个的会议。

当然,也会有一些实质性的差异。

谷歌大脑是一个很大的研究实验室,有上百人的规模,而大多数类似的实验室都要小得多。这意味着,如果你对某个具体的研究课题有疑问,大概率谷歌大脑里有人就在研究这事儿;你读的某一篇机器学习论文,作者可能就在离你不远的地方。

此外,这里还有很多(或者说太多)协同工作的机会。在来到谷歌大脑之前,我从来没有拒绝过和聪明人一起展开有前景的研究。

另一个显著的区别是,你能获得超多的计算资源。在几十甚至几百个GPU上做实验,简直是小事一桩。这带来了实实在在的影响:你有机会尝试更多的想法、超参数配置等等。所以你也不必等一切都高度优化好之后,再开始实验。

记得读博士期间,我花了好久来测试不同的Theano运算,以便从我那单个的GPU中压榨出最大的性能。而在Google你要关注的不是精细调整,而是规模化。

我的研究

我在Residency的基本目标是:1、基础(而不是特定应用)的机器学习研究。2、学点东西。3、好好利用我在谷歌大脑的机会。我之前的背景主要是顺序数据的机器学习模型(博士生涯主要关注音乐领域的机器学习),这很大的影响了我的研究。

我的第一个项目,是尝试创建一个能发现序列中层次结构的模型。许多序列可以自然的分解为层次结构(例如:例如文档 ->段落 ->句子 ->单词 ->字符),所以我们希望可以找到的一个可以发现这种层次结构的模型。

为了解决这个问题,我决定重点关注一个相对简单的机制,可以描述为:对于一个给定的输入序列,可不可以通过一个简单的“是/否”需要包含输入的每条信息,来构建一个更短的输出序列。

实际上,你只是对输入序列“二次采样”,来产生一个新的更短的序列。是否在输出序列中包含输入序列的全部信息,是一个可以自适应的决定,即基于输入序列本身。下图用来说明这个想法:

不幸的是,出了一个简单的玩具问题,我无法通过这种方法在任何任务上获得良好的效果。不过我还是在ICLR研讨会的扩展摘要中提到了这个想法,想让人们注意到训练一个二次采样机制的可行性。

除此以外,我还进行了单调注意力、强化学习等方面的研究,还参与了一些Magenta项目的工作。

下一步

我当初本打算博士毕业后去做博士后,参加Residency项目之后,我仍然准备去做博士后,继续我的研究生涯。

不过我最终还是决定作为研究科学家(research scientist)留在谷歌大脑。因为这里堪称是一个理想的实验室:可以做自己想做的研究,周围都是聪明的同事,可以自由分享研究成果,还有无限可用的资源……

老实说,我不知道还有哪个实验室有谷歌大脑这么自由。据我所知,谷歌大脑从来不要求研究人员,从事某项有利于具体产品的研究。

同事方面,正如我上面提到的,你基本被最先进的研究人员围绕。新一批的Residency同学已经来了,而且这里总有实习生,也有你需要的导师。

我认为谷歌大脑的文化,很大程度上来自于领导力。谷歌大脑的高级员工全都平易近人、友善以及乐于分享。

所以,我决定继续留在谷歌大脑。具体来说,我正在Ian Goodfellow的团队。以后我将有更多时间投入机器学习安全、对抗性训练和无监督/半监督学习中。

当然我还会继续抽时间为顺序数据和音乐搞搞机器学习模型,毕竟本性难移~

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-08-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

程序员为什么要学深度学习?

转自:infoq( ID:infoqchina) 导读 深度学习本身是一个非常庞大的知识体系。本文更多想从程序员的视角出发,让大家观察一下深度学习对程序员意味...

39050
来自专栏IT派

NLP之Wrod2Vec三部曲

N o . 1 基础篇 一.前言 伴随着深度学习的大红大紫,只要是在自己的成果里打上deep learning字样,总会有人去看。深度学习可以称为当今机器学习...

35850
来自专栏CVer

大牛分享 | 李航教授展望自然语言对话领域:现状与未来

本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载

13700
来自专栏AI科技大本营的专栏

《自然》杂志医疗AI领域最新成果系列二:关于皮肤患者的AI解决方式

图片来源:CDAPEX 编译 | Ziqi Zhang 编辑 | Donna 【AI科技大本营导读】澳大利亚阿德莱德大学的在读医学博士生、放射线学专家Luke...

40160
来自专栏UAI人工智能

强化学习Reinforcement Learning被MIT Technology Review列入 2017 年十大技术

16730
来自专栏大数据文摘

大咖 | 三年拿到斯坦福CS博士的创业者李纪为:AI如何赋能金融

人工智能和金融,法律、医学等传统领域密切联系,金融科技正以前所未有的速度改变大众认知,这不仅驱动了传统金融业转型升级,也催生了诸多新金融业态。

13910
来自专栏新智元

【Goldberg回应LeCun】DL社群缺乏学习,夸大研究成果

【新智元导读】Yann LeCun 对于 Yoav Goldberg 的驳斥得到了 Goldberg 第一时间的回应。他表示自己并不反对在语言任务上使用深度学习...

368120
来自专栏腾讯云安全的专栏

TenSec 再掀 AI 热:腾讯云如何将 AI 应用于安全

22350
来自专栏新智元

谷歌大脑工程师给2018学术顶会划重点:对抗性学习+强化学习

16330
来自专栏量子位

ICML 2017入选论文名单公布,谷歌微软CMU录用数排前三

安妮 编译自 Medium 量子位出品 | 公众号 QbitAI 第34届国际机器学习大会(ICML)将于今年8月6日在悉尼召开。ICML作为国际顶级的机器学习...

37580

扫码关注云+社区

领取腾讯云代金券