深度学习NLP领军人Manning:未来5年神经机器翻译会有超越 | 新智元专访

【新智元导读】新智元日前对深度学习NLP领军人Chris Manning教授进行了专访。不同于传统观点,Manning教授认为语言并非只是基于规则的符号系统,语言是不断变化的,因此深度学习,尤其是分布式词汇表征,是研究NLP和语言学的好方法,而且成果巨大。Manning教授很高兴看到近来NLP领域涌现出很多结合语言结构和深度学习的工作,期待未来5年神经机器翻译将有大幅进展。我们正处在一个非常激动人心的时代,自然语言处理被视为机器学习和行业应用问题的核心。

虽然没有语音和图像那么猛烈,但深度学习已然席卷自然语言处理。2014年11月,Hinton在Reddit AMA(Ask Me Anything)中说,他认为未来5年最令人激动的领域将是真正理解文字和视频,Hinton说:“5年内,如果计算机没能做到在观看YouTube视频后能够讲述发生了什么,我会感到很失望。”2015年6月,LeCun在Facebook AI实验室巴黎分部的开幕式上说,深度学习接下来的重要一步是自然语言理解,让机器不仅能够理解单个单词,还能理解整个句子乃至段落。现代深度学习的另一大巨头Yoshua Bengio,更是率领团队越来越多地从事深度学习语言学研究,包括现在已经成果斐然的神经机器翻译系统。

不仅如此,统计机器学习大神Michael Jordan也在2014年9月的AMA中表示,如果他有10亿美元的资金来构建研究项目,他会选择建设一个NASA那样规模的自然语言处理计划,包括语义学、语用学等等。Jordan说:“从学术上讲(intellectually)我认为NLP是个引人入胜的问题,让我们专注于高度结构化的推理,在触及‘什么是思维’这一核心的同时又非常实用,而且能让世界变得更加美好。”不过,Jordan认为深度学习在NLP的表现远远没有视觉那样好,他也不大看好将海量数据与黑箱结构相结合去做NLP。

对于后者,斯坦福大学的教授Christopher Manning有不同的观点。Manning认为深度学习是研究NLP和语言学的好方法。Manning是斯坦福大学计算机科学和语言学系机器学习Thomas M. Siebel教授,他的研究目标是让计算机能够智能地处理、理解和生成人类语言材料。作为深度学习自然语言处理的领军人,Manning从事了很多著名的工作,包括树状递归神经网络、情感分析、神经网络依赖性解析(dependency parsing),语言矢量的GloVe模型、神经机器翻译,还有深度学习语言理解。他主讲的斯坦福CS224N深度学习自然语言处理课程非常受欢迎。同时,Manning也关注计算语言学解析方法、文本推理和多语言处理,是斯坦福大学依赖关系和通用依赖性(Universal Dependencies)的主要开发者。

Manning教授的论文目前被引用超过7万次,其中,他作为第一作者与人合著的《自然语言处理统计方法》(Manning and Schütze,1999)和《信息检索》(Manning,Raghavan和Schütze,2008)已经成为领域内著名的教科书。Manning是ACM Fellow、AAAI Fellow和ACL Fellow,往届ACL President。他的研究多次获得ACL、Coling、EMNLP和CHI这些计算语言学顶会的最佳论文奖。Manning在澳大利亚国立大学本科毕业后,1994年在斯坦福大学获得博士学位,而后在卡内基梅隆大学和悉尼大学担任教职,1999年重新回到斯坦福大学并一直留校至今。他创建了斯坦福NLP Group,负责管理斯坦福CoreNLP软件的开发工作。

日前,新智元对第二次来到中国的Manning教授进行了专访(他第一次来是2015年的ACL)。Manning教授受邀出席第12届中国中文信息学会暑期学校暨前沿技术讲习班,并做结课报告,介绍斯坦福大学NLP组的工作进展。

在采访中,Manning教授指出,虽然深度学习是研究NLP的好方法,但目前为止NLP从深度学习的收益更多是来自分布式词汇表示(distributed word representation),而非真正的深度学习,真正的深度学习使用更抽象的表征构建的层次来促进泛化。但是,他对此表示乐观,“我们现在仍处于这一波深度学习复兴浪潮的初期”。同时,他认为构建深度学习系统的方法本身就很有用,不仅局限于NLP。

Manning也鼓励人们在工作中更多结合语言和语言结构。他认为NLP中的深度学习与语言学之争是很自然的现象——“当有很好用的形式化方法工具出现时,研究这些新工具的人会把它们用在各种各样的领域里,即使他们自己并不是这些领域的专家,因此往往会忽视领域中本应注意的细微精妙之处”——有争论是好事,问题将来也会自己解决。同时,Manning表示,NLP是研究语言技术的领域,并不是研究什么是最好的机器学习,因此核心问题永远都将是领域专业问题。

总的来说,Manning认为我们正处在一个非常激动人心的时代,“自然语言处理被视为机器学习和行业应用问题的核心,我们应该感到兴奋和高兴”。他鼓励大家考虑问题、架构,认知科学以及人类语言的细节,如何学习、处理以及如何变化,而不仅仅是追求最好最漂亮的数字。

以下内容综合了Manning教授专访和结课报告,在不改变原意的情况下作了编辑整理。

很高兴看到ACL 2017有更多深度学习与语言结构的融合

新智元:今年的ACL有什么让你感兴趣的工作?

Manning:我对语言和语言结构很感兴趣,因此很高兴在今年的ACL看到更多研究语言结构的工作。其中,有几个团队利用语法结构和句子,以各种方式结合句法知识来完善神经机器翻译模型,比如NYU的Kyunghyun Cho——Cho是著名的奉行“Deep Learning First”的人,很高兴看到他开始关注语言和语言结构。今年的EMNLP也有这样的工作,华盛顿大学的Kenton Lee等人提出了一个端到端的神经共指解析模型(coreference resolution,“共指解析”,自然语言处理中的一个基本任务,目的在于自动识别表示同一个实体的名词短语或代词,并将它们归类——编注),相比使用传统方法结果有了大幅提升。我的学生Kevin Clark实际上也在从事共指解析方面的工作,但Kenton Lee新系统的表现要好更多。

回到ACL 2017,伯克利的Jacob Andreas等人发表了《Translating Neuralese》,这与智能体之间相互对话以及与人类对话有关(研究人员通过翻译智能体之间的对话 [messages] 来理解这些信息,与传统的机器翻译不同,这项工作并没有可比照的数据用于学习,因此研究人员假设特定情况下智能体之间的对话等同于自然语言串 [string],然后建模——编注),这更多是一种概念上的验证,也是很不错的工作。

新智元:说到智能体之间的对话,前段时间有一则火遍全球的消息,“Facebook的AI Bot发明了自己的语言”。

Manning:我认为整件事情完全是媒体的误读,报道出来的与实际发生的是两码事。那两个Bot的“对话”与物联网里传感器之间发送的信号没什么区别,而“项目关闭”也并非出于恐慌,而是跟所有程序员按下Ctrl+C一样,只是觉得再把这个测试继续下去没有意思了。而测试之所以会没意思,我认为仅仅是因为从某种意义上看这是个失败的实验——我们想要开发的是能够与人类交流的对话系统,Bot自行学习后生成人类无法理解的速记符号并没有用。当然,速记符号本身很有用,人类也广泛使用速记符号,但关键还是要让人类能够理解。人类发明语言是件奇妙而复杂的事情,研究智能体如何发明它们自己的语言有助于理解人类语言的本质,也有很多学者在从事这方面的工作。但据我所知,目前这些都还只是极其原始、简单的符号系统,能做的只是像婴儿那样,用两个单词来表达意思,比如 want juice,want mommy。

NLP中“语言学 vs 深度学习”之争:语言并非是基于规则的符号系统,使用深度学习将对语言学研究做出科学贡献

新智元:你如何看自然语言处理领域里“语言学VS深度学习”之争?

Manning:总是有这样的情况,当有很好用的形式化方法工具出现时,研究这些新工具的人会把它们用在各种各样的领域里,即使他们自己并不是这些领域的专家,因此往往会忽视领域中本应注意的细微精妙之处。我认为有这样的争论很好,事情也会自己解决。深度学习无疑在自然语言处理的很多地方都有很大的用处,而了解语法和语言结构也很有必要。我认为随着时间的推移,我们会有关于这些不同观点的积极对话和交流。

很多反深度学习的语言学家,他们之所以认为深度学习从根本上错了,是因为他们将语言看作一个基于规则的符号系统,这也是传统的语言学观点。但我并不这样认为。语言是很松散的,随着时间推移不断发生变化,虽然其中确实存在系统性的规律,能够通过词类、语法规则等对其进行归纳,但人类对语言的使用是灵活而且多变的,词义也不断转变,诸如此类的现象,实际上通过神经网络的分布式表征能够被更好的建模。所以,我认为使用深度学习的一些概念,有很大可能对语言学做出科学贡献。

深度学习是研究语言学的好方法,但正因如此也很容易陷入错觉,误以为深度学习就是研究语言学的最好方法。实际上我们现在做的最多的就是建模,这些模型在某些情况下很好用,但也都有各自的局限。

新智元:最大的局限在哪里呢?

Manning:就现阶段而言,还很难说最大的局限,因为我们尚处于这一波深度学习复兴浪潮的早期,有那么多的进展,不断有更多更好的解决方案被发现,这些都令人激动。因此,我认为现在还说不好未来会怎样,我们也还没有明确地看到这些方法什么时候会不管用。不过,我怀疑 [深度学习] 最大的局限可能会来自于假设 [对象或过程都拥有] 统一的结构,例如很大的数字,很大的矩阵,然后相乘,这与人脑中发生的并不太一致,也和语言运作的方式相去甚远。所以,我认为将来我们会需要拥有更多模态和更多分化(differentiation)的模型,组合在一起使用

从事NLP 20年,看领域发展里程碑:基于文本的事实理解已经做得很好,接下来是让机器通过阅读理解世界如何运作

新智元:从事自然语言处理20多年,你认为领域发展都有哪些里程碑?接下来会怎样?

Manning:自然语言处理以及相关领域的进展是一个循序渐进的过程,与其看里程碑,不如说错误率一直降低,到达一定界限后,就变得很实用。以语音识别为例,虽然不是自然语言处理,但作为语言技术的一种,语音识别无疑取得了极大的进展,基于深度学习的方法让语音识别的准确率大幅提升,人们注意到统计曲线的陡变,但这实际上是一个30年的旅程,每一年研究人员都在将准确率不断提升,当错误率降低到一定水平后,普通人觉得语音识别好用了,不再是以往被逼无奈才会用,现在,一些简单的任务能在手机上用语音很好地完成。

我认为其他领域也会经历像语音识别一样的历程。比如说机器翻译,也是一个通过不断积累取得进展的领域,近来神经机器翻译大获成功,神经机器翻译在2014年首次推出,3年后的现在,几乎所有大公司都将其应用到了各自的产品中。但是,相比语音识别,神经机器翻译还差得很远,虽然现在已经好到可以用(useful),但我想大概再过个5年,会变得真的很好,超越一个界限,用起来很顺手(usable),方便人们沟通和交流

还有问答和阅读理解系统——这也是我的学生陈丹琦在做的,在过去几年已经变得超级好。一些比较难的问题,涉及到对文本的理解,目前我们还无法做到,但根据文本中陈述的事实进行问答,比如谁是谁的曾祖父,谁在毕业后第一份工作是什么……这些已经能给出精度极高的答案,可以说,事实问题基本都能答对。

新智元:我们此前采访了伊利诺伊大学的刘兵教授,他认为NLP一个很大的局限在于,有很多在人类看来十分简单的问题,比如将一块石头投入水中会发生什么,计算机无法作答,因为答案有太多。

Manning:当我们说自然语言理解的时候,实际上分为两部分,一部分是(自然)语言理解,其中基于文本的事实理解我们已经做得很好了,另一部分则几乎跟语言无关,这部分关乎的是掌握知识,理解世界如何运作,这个我们现在还做不到。所以,像把石头扔进水里会发生什么,实际上单是语言理解这部分没有问题的,问题在于如何构建一个深度学习系统,能像人类一样理解世界,知道做一件事会产生什么后果。

新智元:那怎么做到这一点呢,比如让机器理解常识?

Manning:现在的问答和阅读理解系统在一定的参数设置下表现很好,但本质上做的还是模式匹配。在此基础上更进一步,让系统掌握常识,这个问题很难。我现在也没有很好的答案。不过,我相信最初的一步可以这样走,那就是让计算机通过阅读学习知识。

我的工作主要涉及语言理解,但也从事了一些让计算机理解世界的工作,方法就是让计算机阅读文本,这也是我认为非常有前景的一个研究方向。让机器理解世界的方式有很多种,可以是观看视频,或者将机器人放到一个环境中让它进行探索。阅读或许是更加简单有效的一种,小说、新闻、书籍中描写了大量的人类活动,反映了物理世界和现实生活,有了这么大的信息量,就可以构建知识图谱,再使用开放信息抽取,表征各种关系,还可以构建情景注意力模型(episodic attention model)……这些结合到一起,我相信能够让模型在某些类型的常识上进行一定程度的推理。

当然,有了这些还是不够,比如要回答将石头投入水中会发生什么,还需要对世界有物理上的了解。而且,人类在沟通时,有很多信息都是不会通过语言来表达的。因此,光研究语言学和自然语言处理是无法使我们对常识建模的,或许借鉴强化学习和机器人领域的技巧和方法能打开局面。

在语言理解中,我想我们也需要进行更多知识表征、推理和让计算机理解世界的研究,这方面的工作应该得到更多的关注。虽然严格上讲这并不属于语言理解问题,但却与语言密切相关——没有对知识和世界的理解,无法真正做到理解语言。反过来,要理解知识和世界,也需要阅读文本,离不开语言理解,所以这可以看做是一个循环。

中文信息学会暑期学校结课报告Q&A

Manning教授受邀出席第12届中国中文信息学会暑期学校暨前沿技术讲习班,并做结课报告,介绍斯坦福大学NLP组的工作进展

Q:如何继续改进机器翻译?

Manning:有几种可行的方法,一种是结合句法结构和神经机器翻译系统,还有就是利用词类、语法分析这些信息。我认为了解组成成分(constituency)、词汇等信息,不仅对机器翻译有用,对问答等领域也会很有用。还有就是在整个篇章的基础上进行翻译。目前的机器翻译基本上还是在句子的基础上进行的,实际上人类译者在翻译时,相比只有单独的句子,他们在得到上下文信息后,会对内容进行更好的翻译。因此,这也是提升机器翻译的一个方向。要实现智能,需要去理解更大的东西,而不仅仅处理句子这样较小的部分。

Q:如何看待深度学习黑箱?

Manning:实际上黑箱问题有些被夸大了,你可以从很多角度去看黑箱。大多数时候,人类做决策也是黑箱,你没有办法知道另一人脑子里在想些什么,但我们仍然会信任其他人的理性决策。在处理某些问题上,神经网络的表现已经很好了,或许,神经网络也需要我们给予这样的信任。此外,深度学习模型的难解性在一定程度上源于其他机器学习方法,比如使用了LSTM、内核等结构后,你很难弄清楚模型中都发生了什么,这也是不能忽视的一个事实。

另一方面,对研究者和开发人员而言,在构建深度学习模型时,如果能直接看特征和特征权重就了解哪个地方出了问题,并提出改进方法,绝对是一件很有价值的事情。但现在,我们在建模时更多遇到的情况是,不知道究竟出了什么问题,是再加一层网络呢,还是改变正则化方法,或者调整初始函数……于是,干脆随意做个五六处改动然后跑模型,希望其中一个改动奏效。这种方式即使最后模型确实变好了,但仍然无法令人满意。从这个角度讲,如果能弄清黑箱无疑是件好事。

最后,从应用的角度看,深度学习有很多应用,比如医疗,在这些情况下,如果能知道模型是如何推理并得出结果的当然会更好。实际上,现在关于神经网络注意力的研究,能在一定程度上揭示神经网络工作的过程,但显然这还远远不够。我在斯坦福的同事Pang Wei Koh和Percy Liang最近在ICML 2017获得了最佳论文的工作就是关于模型可解释性,他们反过去理解哪些训练数据在模型在分类决策中的影响更大,从而更好地理解模型为什么做出某个特定的决策。我认为这是非常有用的工作。

※新智元也为此采访了Percy Liang教授,Liang教授向新智元解释了他们的工作。关于模型的可解释性,我们问了一个问题:为什么模型会做出某一种预测?(Why did a model make a certain prediction?)虽然以前的工作在模型的角度回答这个问题(answered this question in terms of the model),但模型又来自哪里?答案最终还是在训练数据里,是训练数据推动了预测。我们提出了一个问题:如果增加一个训练样本的权重并重新训练模型,它将如何改变预测?我们使用统计学的经典想法——影响函数来回答这个问题。这种方法的优点是适用于任何(可微分)模型,包括任意的神经网络。Liang教授表示,他很高兴看到统计学中的旧想法与现代深度学习环境相结合。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2017-08-27

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

AI寒冬将至?「人工智能衰退论」再起,却遭LeCun怒斥

16530
来自专栏AI科技大本营的专栏

实战案例 | 美团如何用NLP完成5大应用场景

王兴在最近一篇刷屏的专访当中说,“很多人只关心边界,不关心核心”。这话放在人工智能领域当中也适用,今天很多人关心人工智能的前沿论文,但是对于它如何在企业业务中发...

866110
来自专栏AI科技评论

模仿大脑的结构制造AI地图,美国已经有大神在做了

GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,谷歌,DeepMind,Uber,微软等巨头的人...

29690
来自专栏PPV课数据科学社区

2 个月如何从小白到 Python 高手,牛津大学博士带你飞!

Python 可以做任何事情。无论是从入门级选手到专业级数据挖掘、科学计算、图像处理、人工智能,Python 都可以胜任。或许是因为这种万能属性,周围好更多的小...

47460
来自专栏数据观有话说

关于“数据可视化思考者”的8条军规

经常在网络上看到这样的问题:“从零开始学习数据可视化,需要怎么开始?”《Data at Work》一书的作者Jorge Camoes在一次演讲中,提出了“数据可...

25370
来自专栏牛客网

从春招到秋招,算法工程师养成记(阿里+腾讯+其他)

自我介绍 大家好,我是老班长,一名老牛油(至于多老呢?我基本是第一批关注牛客网的同学,我加牛客网qq1群的时候,群里只有400多人(现在估计10多个群了吧),那...

668110
来自专栏新智元

【圣诞快乐】这是一首 AI 创作的圣诞歌

【新智元导读】 AI 能为人类做什么?平安夜,来听一首AI 创作的圣诞歌吧。(虽然有点跑调)祝读者朋友们圣诞快乐! “神经网络卡拉OK”程序能够产生任何形式的数...

34140
来自专栏AI科技评论

深度 | 中国科学院孙哲南研究员:带你认识虹膜识别研究进展

2016人工智能湖南论坛暨自兴人工智能研究院揭牌仪式,来自国内外的许多顶级专家在会上给我们做了报告。中国科学院自动化研究所模式识别国家重点实验室研究员、天津中科...

49740
来自专栏腾讯高校合作

【犀牛鸟学问】发现数据之美

23520
来自专栏AI研习社

如何优雅地躲避学术地雷 | AI阅读研究所·第1期

策划 / 晋阳 编辑 / 吴璇 数字时代的今天,从各个渠道涌来的各种碎片化信息数不胜数。对于 AI 领域,每天会涌现一大波国内外的技术博文、论文、文档等等。 习...

37860

扫码关注云+社区

领取腾讯云代金券