深度学习NLP领军人Manning：未来5年神经机器翻译会有超越 | 新智元专访

【新智元导读】新智元日前对深度学习NLP领军人Chris Manning教授进行了专访。不同于传统观点，Manning教授认为语言并非只是基于规则的符号系统，语言是不断变化的，因此深度学习，尤其是分布式词汇表征，是研究NLP和语言学的好方法，而且成果巨大。Manning教授很高兴看到近来NLP领域涌现出很多结合语言结构和深度学习的工作，期待未来5年神经机器翻译将有大幅进展。我们正处在一个非常激动人心的时代，自然语言处理被视为机器学习和行业应用问题的核心。

虽然没有语音和图像那么猛烈，但深度学习已然席卷自然语言处理。2014年11月，Hinton在Reddit AMA（Ask Me Anything）中说，他认为未来5年最令人激动的领域将是真正理解文字和视频，Hinton说：“5年内，如果计算机没能做到在观看YouTube视频后能够讲述发生了什么，我会感到很失望。”2015年6月，LeCun在Facebook AI实验室巴黎分部的开幕式上说，深度学习接下来的重要一步是自然语言理解，让机器不仅能够理解单个单词，还能理解整个句子乃至段落。现代深度学习的另一大巨头Yoshua Bengio，更是率领团队越来越多地从事深度学习语言学研究，包括现在已经成果斐然的神经机器翻译系统。

不仅如此，统计机器学习大神Michael Jordan也在2014年9月的AMA中表示，如果他有10亿美元的资金来构建研究项目，他会选择建设一个NASA那样规模的自然语言处理计划，包括语义学、语用学等等。Jordan说：“从学术上讲（intellectually）我认为NLP是个引人入胜的问题，让我们专注于高度结构化的推理，在触及‘什么是思维’这一核心的同时又非常实用，而且能让世界变得更加美好。”不过，Jordan认为深度学习在NLP的表现远远没有视觉那样好，他也不大看好将海量数据与黑箱结构相结合去做NLP。

对于后者，斯坦福大学的教授Christopher Manning有不同的观点。Manning认为深度学习是研究NLP和语言学的好方法。Manning是斯坦福大学计算机科学和语言学系机器学习Thomas M. Siebel教授，他的研究目标是让计算机能够智能地处理、理解和生成人类语言材料。作为深度学习自然语言处理的领军人，Manning从事了很多著名的工作，包括树状递归神经网络、情感分析、神经网络依赖性解析（dependency parsing），语言矢量的GloVe模型、神经机器翻译，还有深度学习语言理解。他主讲的斯坦福CS224N深度学习自然语言处理课程非常受欢迎。同时，Manning也关注计算语言学解析方法、文本推理和多语言处理，是斯坦福大学依赖关系和通用依赖性（Universal Dependencies）的主要开发者。

Manning教授的论文目前被引用超过7万次，其中，他作为第一作者与人合著的《自然语言处理统计方法》（Manning and Schütze，1999）和《信息检索》（Manning，Raghavan和Schütze，2008）已经成为领域内著名的教科书。Manning是ACM Fellow、AAAI Fellow和ACL Fellow，往届ACL President。他的研究多次获得ACL、Coling、EMNLP和CHI这些计算语言学顶会的最佳论文奖。Manning在澳大利亚国立大学本科毕业后，1994年在斯坦福大学获得博士学位，而后在卡内基梅隆大学和悉尼大学担任教职，1999年重新回到斯坦福大学并一直留校至今。他创建了斯坦福NLP Group，负责管理斯坦福CoreNLP软件的开发工作。

日前，新智元对第二次来到中国的Manning教授进行了专访（他第一次来是2015年的ACL）。Manning教授受邀出席第12届中国中文信息学会暑期学校暨前沿技术讲习班，并做结课报告，介绍斯坦福大学NLP组的工作进展。

在采访中，Manning教授指出，虽然深度学习是研究NLP的好方法，但目前为止NLP从深度学习的收益更多是来自分布式词汇表示（distributed word representation），而非真正的深度学习，真正的深度学习使用更抽象的表征构建的层次来促进泛化。但是，他对此表示乐观，“我们现在仍处于这一波深度学习复兴浪潮的初期”。同时，他认为构建深度学习系统的方法本身就很有用，不仅局限于NLP。

Manning也鼓励人们在工作中更多结合语言和语言结构。他认为NLP中的深度学习与语言学之争是很自然的现象——“当有很好用的形式化方法工具出现时，研究这些新工具的人会把它们用在各种各样的领域里，即使他们自己并不是这些领域的专家，因此往往会忽视领域中本应注意的细微精妙之处”——有争论是好事，问题将来也会自己解决。同时，Manning表示，NLP是研究语言技术的领域，并不是研究什么是最好的机器学习，因此核心问题永远都将是领域专业问题。

总的来说，Manning认为我们正处在一个非常激动人心的时代，“自然语言处理被视为机器学习和行业应用问题的核心，我们应该感到兴奋和高兴”。他鼓励大家考虑问题、架构，认知科学以及人类语言的细节，如何学习、处理以及如何变化，而不仅仅是追求最好最漂亮的数字。

以下内容综合了Manning教授专访和结课报告，在不改变原意的情况下作了编辑整理。

很高兴看到ACL 2017有更多深度学习与语言结构的融合

新智元：今年的ACL有什么让你感兴趣的工作？

Manning：我对语言和语言结构很感兴趣，因此很高兴在今年的ACL看到更多研究语言结构的工作。其中，有几个团队利用语法结构和句子，以各种方式结合句法知识来完善神经机器翻译模型，比如NYU的Kyunghyun Cho——Cho是著名的奉行“Deep Learning First”的人，很高兴看到他开始关注语言和语言结构。今年的EMNLP也有这样的工作，华盛顿大学的Kenton Lee等人提出了一个端到端的神经共指解析模型（coreference resolution，“共指解析”，自然语言处理中的一个基本任务，目的在于自动识别表示同一个实体的名词短语或代词，并将它们归类——编注），相比使用传统方法结果有了大幅提升。我的学生Kevin Clark实际上也在从事共指解析方面的工作，但Kenton Lee新系统的表现要好更多。

回到ACL 2017，伯克利的Jacob Andreas等人发表了《Translating Neuralese》，这与智能体之间相互对话以及与人类对话有关（研究人员通过翻译智能体之间的对话 [messages] 来理解这些信息，与传统的机器翻译不同，这项工作并没有可比照的数据用于学习，因此研究人员假设特定情况下智能体之间的对话等同于自然语言串 [string]，然后建模——编注），这更多是一种概念上的验证，也是很不错的工作。

新智元：说到智能体之间的对话，前段时间有一则火遍全球的消息，“Facebook的AI Bot发明了自己的语言”。

Manning：我认为整件事情完全是媒体的误读，报道出来的与实际发生的是两码事。那两个Bot的“对话”与物联网里传感器之间发送的信号没什么区别，而“项目关闭”也并非出于恐慌，而是跟所有程序员按下Ctrl+C一样，只是觉得再把这个测试继续下去没有意思了。而测试之所以会没意思，我认为仅仅是因为从某种意义上看这是个失败的实验——我们想要开发的是能够与人类交流的对话系统，Bot自行学习后生成人类无法理解的速记符号并没有用。当然，速记符号本身很有用，人类也广泛使用速记符号，但关键还是要让人类能够理解。人类发明语言是件奇妙而复杂的事情，研究智能体如何发明它们自己的语言有助于理解人类语言的本质，也有很多学者在从事这方面的工作。但据我所知，目前这些都还只是极其原始、简单的符号系统，能做的只是像婴儿那样，用两个单词来表达意思，比如 want juice，want mommy。

NLP中“语言学 vs 深度学习”之争：语言并非是基于规则的符号系统，使用深度学习将对语言学研究做出科学贡献

新智元：你如何看自然语言处理领域里“语言学VS深度学习”之争？

Manning：总是有这样的情况，当有很好用的形式化方法工具出现时，研究这些新工具的人会把它们用在各种各样的领域里，即使他们自己并不是这些领域的专家，因此往往会忽视领域中本应注意的细微精妙之处。我认为有这样的争论很好，事情也会自己解决。深度学习无疑在自然语言处理的很多地方都有很大的用处，而了解语法和语言结构也很有必要。我认为随着时间的推移，我们会有关于这些不同观点的积极对话和交流。

很多反深度学习的语言学家，他们之所以认为深度学习从根本上错了，是因为他们将语言看作一个基于规则的符号系统，这也是传统的语言学观点。但我并不这样认为。语言是很松散的，随着时间推移不断发生变化，虽然其中确实存在系统性的规律，能够通过词类、语法规则等对其进行归纳，但人类对语言的使用是灵活而且多变的，词义也不断转变，诸如此类的现象，实际上通过神经网络的分布式表征能够被更好的建模。所以，我认为使用深度学习的一些概念，有很大可能对语言学做出科学贡献。

深度学习是研究语言学的好方法，但正因如此也很容易陷入错觉，误以为深度学习就是研究语言学的最好方法。实际上我们现在做的最多的就是建模，这些模型在某些情况下很好用，但也都有各自的局限。

新智元：最大的局限在哪里呢？

Manning：就现阶段而言，还很难说最大的局限，因为我们尚处于这一波深度学习复兴浪潮的早期，有那么多的进展，不断有更多更好的解决方案被发现，这些都令人激动。因此，我认为现在还说不好未来会怎样，我们也还没有明确地看到这些方法什么时候会不管用。不过，我怀疑 [深度学习] 最大的局限可能会来自于假设 [对象或过程都拥有] 统一的结构，例如很大的数字，很大的矩阵，然后相乘，这与人脑中发生的并不太一致，也和语言运作的方式相去甚远。所以，我认为将来我们会需要拥有更多模态和更多分化（differentiation）的模型，组合在一起使用。

从事NLP 20年，看领域发展里程碑：基于文本的事实理解已经做得很好，接下来是让机器通过阅读理解世界如何运作

新智元：从事自然语言处理20多年，你认为领域发展都有哪些里程碑？接下来会怎样？

Manning：自然语言处理以及相关领域的进展是一个循序渐进的过程，与其看里程碑，不如说错误率一直降低，到达一定界限后，就变得很实用。以语音识别为例，虽然不是自然语言处理，但作为语言技术的一种，语音识别无疑取得了极大的进展，基于深度学习的方法让语音识别的准确率大幅提升，人们注意到统计曲线的陡变，但这实际上是一个30年的旅程，每一年研究人员都在将准确率不断提升，当错误率降低到一定水平后，普通人觉得语音识别好用了，不再是以往被逼无奈才会用，现在，一些简单的任务能在手机上用语音很好地完成。

我认为其他领域也会经历像语音识别一样的历程。比如说机器翻译，也是一个通过不断积累取得进展的领域，近来神经机器翻译大获成功，神经机器翻译在2014年首次推出，3年后的现在，几乎所有大公司都将其应用到了各自的产品中。但是，相比语音识别，神经机器翻译还差得很远，虽然现在已经好到可以用（useful），但我想大概再过个5年，会变得真的很好，超越一个界限，用起来很顺手（usable），方便人们沟通和交流。

还有问答和阅读理解系统——这也是我的学生陈丹琦在做的，在过去几年已经变得超级好。一些比较难的问题，涉及到对文本的理解，目前我们还无法做到，但根据文本中陈述的事实进行问答，比如谁是谁的曾祖父，谁在毕业后第一份工作是什么……这些已经能给出精度极高的答案，可以说，事实问题基本都能答对。

新智元：我们此前采访了伊利诺伊大学的刘兵教授，他认为NLP一个很大的局限在于，有很多在人类看来十分简单的问题，比如将一块石头投入水中会发生什么，计算机无法作答，因为答案有太多。

Manning：当我们说自然语言理解的时候，实际上分为两部分，一部分是（自然）语言理解，其中基于文本的事实理解我们已经做得很好了，另一部分则几乎跟语言无关，这部分关乎的是掌握知识，理解世界如何运作，这个我们现在还做不到。所以，像把石头扔进水里会发生什么，实际上单是语言理解这部分没有问题的，问题在于如何构建一个深度学习系统，能像人类一样理解世界，知道做一件事会产生什么后果。

新智元：那怎么做到这一点呢，比如让机器理解常识？

Manning：现在的问答和阅读理解系统在一定的参数设置下表现很好，但本质上做的还是模式匹配。在此基础上更进一步，让系统掌握常识，这个问题很难。我现在也没有很好的答案。不过，我相信最初的一步可以这样走，那就是让计算机通过阅读学习知识。

我的工作主要涉及语言理解，但也从事了一些让计算机理解世界的工作，方法就是让计算机阅读文本，这也是我认为非常有前景的一个研究方向。让机器理解世界的方式有很多种，可以是观看视频，或者将机器人放到一个环境中让它进行探索。阅读或许是更加简单有效的一种，小说、新闻、书籍中描写了大量的人类活动，反映了物理世界和现实生活，有了这么大的信息量，就可以构建知识图谱，再使用开放信息抽取，表征各种关系，还可以构建情景注意力模型（episodic attention model）……这些结合到一起，我相信能够让模型在某些类型的常识上进行一定程度的推理。

当然，有了这些还是不够，比如要回答将石头投入水中会发生什么，还需要对世界有物理上的了解。而且，人类在沟通时，有很多信息都是不会通过语言来表达的。因此，光研究语言学和自然语言处理是无法使我们对常识建模的，或许借鉴强化学习和机器人领域的技巧和方法能打开局面。

在语言理解中，我想我们也需要进行更多知识表征、推理和让计算机理解世界的研究，这方面的工作应该得到更多的关注。虽然严格上讲这并不属于语言理解问题，但却与语言密切相关——没有对知识和世界的理解，无法真正做到理解语言。反过来，要理解知识和世界，也需要阅读文本，离不开语言理解，所以这可以看做是一个循环。

中文信息学会暑期学校结课报告Q&A

Manning教授受邀出席第12届中国中文信息学会暑期学校暨前沿技术讲习班，并做结课报告，介绍斯坦福大学NLP组的工作进展

Q：如何继续改进机器翻译？

Manning：有几种可行的方法，一种是结合句法结构和神经机器翻译系统，还有就是利用词类、语法分析这些信息。我认为了解组成成分（constituency）、词汇等信息，不仅对机器翻译有用，对问答等领域也会很有用。还有就是在整个篇章的基础上进行翻译。目前的机器翻译基本上还是在句子的基础上进行的，实际上人类译者在翻译时，相比只有单独的句子，他们在得到上下文信息后，会对内容进行更好的翻译。因此，这也是提升机器翻译的一个方向。要实现智能，需要去理解更大的东西，而不仅仅处理句子这样较小的部分。

Q：如何看待深度学习黑箱？

Manning：实际上黑箱问题有些被夸大了，你可以从很多角度去看黑箱。大多数时候，人类做决策也是黑箱，你没有办法知道另一人脑子里在想些什么，但我们仍然会信任其他人的理性决策。在处理某些问题上，神经网络的表现已经很好了，或许，神经网络也需要我们给予这样的信任。此外，深度学习模型的难解性在一定程度上源于其他机器学习方法，比如使用了LSTM、内核等结构后，你很难弄清楚模型中都发生了什么，这也是不能忽视的一个事实。

另一方面，对研究者和开发人员而言，在构建深度学习模型时，如果能直接看特征和特征权重就了解哪个地方出了问题，并提出改进方法，绝对是一件很有价值的事情。但现在，我们在建模时更多遇到的情况是，不知道究竟出了什么问题，是再加一层网络呢，还是改变正则化方法，或者调整初始函数……于是，干脆随意做个五六处改动然后跑模型，希望其中一个改动奏效。这种方式即使最后模型确实变好了，但仍然无法令人满意。从这个角度讲，如果能弄清黑箱无疑是件好事。

最后，从应用的角度看，深度学习有很多应用，比如医疗，在这些情况下，如果能知道模型是如何推理并得出结果的当然会更好。实际上，现在关于神经网络注意力的研究，能在一定程度上揭示神经网络工作的过程，但显然这还远远不够。我在斯坦福的同事Pang Wei Koh和Percy Liang最近在ICML 2017获得了最佳论文的工作就是关于模型可解释性，他们反过去理解哪些训练数据在模型在分类决策中的影响更大，从而更好地理解模型为什么做出某个特定的决策。我认为这是非常有用的工作。

※新智元也为此采访了Percy Liang教授，Liang教授向新智元解释了他们的工作。关于模型的可解释性，我们问了一个问题：为什么模型会做出某一种预测？（Why did a model make a certain prediction?）虽然以前的工作在模型的角度回答这个问题（answered this question in terms of the model），但模型又来自哪里？答案最终还是在训练数据里，是训练数据推动了预测。我们提出了一个问题：如果增加一个训练样本的权重并重新训练模型，它将如何改变预测？我们使用统计学的经典想法——影响函数来回答这个问题。这种方法的优点是适用于任何（可微分）模型，包括任意的神经网络。Liang教授表示，他很高兴看到统计学中的旧想法与现代深度学习环境相结合。