首页
学习
活动
专区
工具
TVP
发布

数学转CS,看斯坦福NLP博士、Manning高徒Abigail See怎么学AI

选自deeplearning.ai

机器之心编译

参与:路雪、王淑婷

近日,deeplearning.ai 采访了斯坦福 NLP 博士 Abigail See,她师从 Chris Manning,在 NLP 领域已经取得很多成绩,她还是斯坦福经典课程 CS224n 课程的助教。这篇文章介绍了她的日常工作、研究兴趣、对 AI 研究人员的建议等。

问:你是如何开始 AI 研究的?

答:我在英国剑桥长大,很小的时候就对数学感兴趣。我喜欢做奥数题,本科时在剑桥大学学习纯粹数学。虽然数学很有意思,但我想研究一些与现实世界联系更强的东西,于是我转向了计算机科学(CS)。幸运的是,剑桥(有时被称为「硅沼泽」)也是科技聚集地,如微软的研究机构分支就在这里,因此我开始通过实习逐渐转向 CS。

2015 年我开始在斯坦福大学读博,专业是 CS,当时我对自己想做什么并不清楚。但是我很快发现,AI,尤其是深度学习最令我感到振奋。我选择研究自然语言处理(NLP),因为我对沟通感兴趣。沟通是一项关键技能,但即使对人类而言这也并不容易。因此使计算机成为好的沟通者是很重要也很有挑战的一件事。

问:你目前在研究什么?

答:我目前主要在尝试使用深度学习开发更好的

自然语言生成

方法。适用于机器翻译等任务的神经方法却无法用于更开放的任务,如讲故事和闲聊,我想在这些任务上取得进展。最近,我在研究如何控制聊天机器人,使其成为更好的谈话者,让神经语言模型想得更远,以及创造更好的方法来生成连贯的故事。

去年,我在研究之外还承担了一些教学工作。我担任斯坦福大学 NLP 和深度学习王牌课程 CS224n 的助教,这门课的主讲教师是我的导师Chris Manning。讲这门课是一项巨大的挑战:这个领域发展得很快,因此每一年我们都要大量更新教学大纲和教材,从而跟上当前的最佳实践。例如,今天我们把 2017 年开发的教学内容更新成了全新的任务和讲义,以反映 2019 年的 NLP 和深度学习现状。所有这些都必须大规模地完成,这不仅关乎 450 名斯坦福学生,还有大量对此感兴趣的全球听众。

问:可以介绍一下你每天的工作吗?

答:大部分时候,我会与研究合作者开会,讨论想法和结果,规划下一步要做什么。比起独自工作,我更喜欢和别人一起工作。研究是一件充满挫折和挣扎的事,而合作者会帮助你不断前进。我还尝试参加一些研讨会和阅读小组,以确保自己能够不断吸收新想法。

如果我在准备 CS224n 的授课,我会用尽可能多的时间去研究内容、准备幻灯片,并练习。上课的时候虽然可以看讲义,但它只不过是教学工作的冰山一角。我们有一个 20 人的团队,一起准备从布置作业到为讲课视频加字幕的所有事情。管理这支团队是我目前最主要的工作,这就像在转碟一样,总有一些事情需要我去注意。

为了放松,我每周尝试做一些不一样的事情。目前,我参加了一支舞蹈队,而且我还在学习爵士钢琴。

问:你使用什么技术栈?

答:研究数学的时候,我的技术栈是纸和笔。现在,我用:

Atom 来编程:我喜欢基于 GUI 的文本编辑器。我可能永远不会学习 Vim,不学对我也没什么影响!除了编程,我还在 Atom 里写生活日常(如阅读笔记、待办事项、论文大纲等)。

Pytorch 做深度学习:和很多 NLP 研究者一样,两年前我从 TensorFlow 转 PyTorch 了,因为 PyTorch 在原型制作和 debug 方面相对好用。但是,我仍然使用 TensorBoard 来做可视化。

Overleaf 写 LaTeX 文档:LaTeX 很难,我喜欢用 Overleaf,它会让事情简单一些。

BetterTouchTool:我离不开这款 Mac 电脑的快捷键神器。

问:进入 AI 领域之前你做的是什么?它是如何对你现在的工作产生影响的?

答:从纯粹数学研究转到深度学习有点奇怪——前者是如此严肃,而后者是如此经验性的东西。我很喜欢之前的纯粹数学训练,因为它能让我涉猎方程和证明(即使很难,但我至少不会害怕退缩)。

除了科学,我感兴趣的还有艺术、文学、电影,以及它们与更广阔社会的关系。这些兴趣反映在我的研究中,我选择了更具创造性的 NLP 任务,比如对话语言和讲故事。我还关注人工智能在社会中更广泛的作用,例如,去年我举办了 AI 沙龙,对 AI 进行一系列讨论。

问:你如何做到持续学习?如何跟上最新的 AI 研究趋势?

答:首先,我会提醒自己与他人交谈。我觉得在斯坦福 NLP 组工作的最大收获是身边有一群很厉害的人。与这些人交谈比看大量论文学得更快,也更有教育意义。

其次,我会尽量大胆地去问问题,哪怕是蠢问题。这样做可以更快地消除障碍,而且我希望这样能够创建一个舒适的工作氛围,让每个人都能轻松地提问。

我发现教学也是一个保持持续学习的好方法。讲授 CS224n 课程要求我对各种主题的理解比以往更深。

为了跟上最新的 AI 新闻,我使用推特。我关注了很多 NLP 教授,比如 Kyunghyun Cho、Miles Brundage、Mark Riedl、Emily Bender,还有那些对这个领域提供有趣元评论的人,比如 Sebastian Ruder、Stephen Merity、Zachary Lipton。此外,我还关注那些投身计算机科学教育的人(如 Rachel Thomas、Jeremy Howard、Cynthia Lee)和研究 AI 伦理的人(如 Kate Crawford、Joy Buolamwini、Timnit Gebru)。

问:你最感兴趣的 AI 研究是什么?

答:我最感兴趣的是旨在将离散结构引入神经网络(通常有很多连续表征)的研究。这项研究很重要,它能够使神经网络进行推理。另一个我感兴趣的趋势是为 NLP 深度学习开发更好的通用预训练模型(如 ELMo 和 BERT)。我希望这种模型能让为困难或特殊的 NLP 任务构建系统变得更容易,而不是每次都重新造轮子。

问:你对想进入 AI 领域的人有什么建议?

答:我的第一个建议是:任何人都可以学习 AI。有些人说,要进入 AI 领域,首先要获得特定学科的学位、上过特定的大学或者有一定的编程经验。我觉得这种观点有些狭隘,有很多条通向 AI 的路。例如,我开始读博士的时候,几乎不知道如何写代码。AI 是一个快速发展的领域,相关的应用无处不在。来自任意学科、拥有任意背景的人都能够而且都应该为 AI 做点什么。我们需要依靠大家的努力才能实现最好的 AI。

我的第二个建议是:学习 AI 不要一刀切。有些人更想学习理论知识,有些人可能更喜欢实践知识。现在有越来越多的高质量资源供大家学习 AI,而且很多都是免费的。你可以尝试这些东西,找出适合自己的学习方式。

本文为机器之心编译,转载请联系本公众号获得授权。

------------------------------------------------

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190324A06TRJ00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券