自然语言处理顶级会议 EMNLP 最佳论文出炉，聚焦神经网络 (下载)

2016 年自然语言处理（NLP）领域的顶级会议——自然语言处理实证方法大会（Empirical Methods in Natural Language Processing，EMNLP）将于11月 1 日至 5 日在美国德克萨斯州奥斯汀市举行。今年网上报名时间10月22日截止，因此本届大会参会人数暂时还无法确定。不过，去年和前年的 EMNLP 大会都有来自学术界和产业界上千人的参与。

根据一位评审的Twitter透露，本次 EMNLP 大会共收到来自 50 多个国家和地区近千篇论文投稿（包含无效投稿），最终录用 266 篇，接收率在 25% 左右，相比今年 8 月在德国柏林举办的自然语言处理顶级会议 ACL（共接收论文 327 篇），本次大会的投稿数量较少，但录取率应该基本持平。在接收的论文中，长论文 179 篇（华人第一作者的有 72 篇），短论文 87 篇（第一作者为华人的有 18 篇）。论文报告仍旧采取口头和海报两种形式，本次大会还特别增设了一个 Poster Spotlight 环节。另外，9 篇被 TACL 接收的论文也会在本届大会上做口头报告。

值得一提的是，本届 EMNLP 大会 Sponsorship Chairs 其中一位是华为诺亚方舟实验室主任李航。李航博士预计在后天（10月18日）召开的 AI WORLD 2016 世界人工智能大会上发表主旨演讲）。这里提前剧透：华为诺亚方舟实验室是华为专注于人工智能和大数据挖掘研究的部门，作为华为人工智能的带头人，李航博士不仅披露了华为诺亚方舟实验室如何通过人工智能创新改革电信行业，还详细介绍了华为使用深度强化学习软件控制网络以及帮助工程师排除网络故障的案例。想要进一步了解更多华为的人工智能技术，现在点击“阅读原文”购票还来得及。

机器学习受重视，单独成为一类

本届 EMNLP 大会涉及自然语言处理的各个领域，“机器学习”毫无悬念仍然成为重点，并且还首次单独出来自成一类（EMNLP 2015 时是“统计机器学习方法”）。大会覆盖的主题包括：计算心理语言；对话和交互系统；话语分析（Discourse Analysis）；文本生成（Generation）；信息抽取；信息检索与问答；语言与视觉；语言理论和资源；机器学习；机器翻译；多语种和跨语种（Multilinguality and Cross-linguality）；自然语言处理应用；标注、组块分析及句法分析；语义；情感分析和意见挖掘；互联网、社交媒体与计算社会科学；口语处理（Spoken Language Processing）；文本挖掘；文本分类和主题建模。

其中，语义仍然是比较最火的方向。但是，随着以语音和语言为接口的人机交互系统逐渐升温，对话和交互系统、话语分析、文本生成等方向在本届大会中也得到了重视。得益于近来神经网络的广泛应用，机器翻译有了大幅提升【参见谷歌推出商用神经网络机器翻译系系】，相关论文的投稿数量也有所增长。本届大会还新增了多语种和跨语种（Multilinguality and Cross-linguality）这一研究方向，而 EMNLP 2015 的音韵学、构词法及分词（当时这个方向排在第一）被去掉了。此外，Twitter上有研究者表示，很高兴看到 EMNLP 2016 重新关注了“语言理论和资源”，并且评选出了“最佳资源论文”（详见下文）。

受邀讲者及主旨演讲介绍

本届大会邀请了 3 位讲者：斯坦福大学计算机科学语言学教授、斯坦福语言与信息研究中心（CSLI）主任 Christopher Potts，开源工具包 SRILM 作者、微软研究院的 Andreas Stolcke，以及布朗大学计算机科学和工程学助理教授 Stefanie Tellex。下面就来看看他们的演讲题目和内容吧。

主旨演讲 1：在延伸和近似理性言语行为模型中学习

讲者 Christopher Potts：斯坦福大学计算机科学语言学教授，也是斯坦福语言与信息研究中心（CSLI）的主任。他的主要研究方向是使用计算机方法探索语言中的情感表达，以及语言的生成和阐释如何受到表达的影响。他在2005出版了专著“The Logic of Conventional Implicature”。

【演讲介绍】理性言语行为（RSA）模型把语言使用看成是一个递归过程，其中说话者和倾听者代理对彼此的意图进行推理，以对他们的语言词意以及广泛的 Gricean 线进行丰富和交流。RSA 建立在哲学家 David Lewis 此前的研究，以及其他信号系统，比如最近发展较快的贝叶斯认知模型之上。过去 5 年间，RSA 被证明在语用学的对话暗示，比如比喻、夸张、讽刺等上提供了许多核心的功能。这一方法较高的准确率和自然醒推动了一系列外部的研究，但是，在 NLP 和 AI 中使用还算非常有限，因为精确的模型在多个维度上还算比较受限的。本报告将介绍 RSA 最新的研究进展和核心属性。

主旨演讲 2：你在对我说话吗？基于语言的人机对话探测和多模型方法

讲者 Andreas Stolcke：毕业于加利福尼亚大学，曾经是斯坦福国家研究院语音技术研究实验室资深工程师，现就职于微软研究院。 目前在语音领域已经发表超过 200 篇论文。他是著名的开源工具包 SRILM 的作者，IEEE 和 ISCA 院士。

【演讲介绍】随着对话系统变得越来越普遍，我们必须学会如何探测是谁在对系统说话，避免人和人之间的对话被机器误录入。本演讲要解决的就是这个问题，基于三个维度：说了什么（词汇信息）、说话方式（声音属性）以及非语言多模式和文本信息。演讲者将会展示研究结果，证明这三方面的结合将能有效解决以上提到的问题。

主旨演讲 3：语言学习模型，人机合作中的行为和感知

讲者 Stefanie Tellex：布朗大学计算机科学和工程学助理教授。她的实验室 Humans To Robots Lab 致力于开发能与人完美合作的机器人。使用语言、手势、概率推理来满足人类的需要，让人人都能拥有合作的机器人。她于 2010 年在 MIT多媒体实验室拿到了博士学位。她是 Wired 评出的“2015年改变科学家的女性”之一，她的研究 2016 年被 MIT 科技评论评为“2016十大突破性技术”。

【演讲介绍】复杂的任务要求机器人不仅能直接与人类交流并合作，还有其他的技能。对合作的沟通要求对语言进行建模，搭建对话与实际含义的桥梁。tefanie Tellex 的研究就是让机器人学习词汇含义的组合模型，让它们可以更好地推理并与人类交流，提升人机合作的速度和准确率。

Workshop 及讲座：重点聚焦神经网络

本届大会一共开设了 6 个 Workshop 和 6 个讲座：

• W1：国际研讨会：社会媒体自然语言处理
• W2：第二研讨会：语言代码转换的计算方法
• W3：第10届SSST研讨会：统计翻译的句法、语义及结构
• W4：自然语言处理的结构化预测
• W5：NLP与计算社会科学
• W6：第七国际研讨会：健康文本挖掘和信息分析
• W7：第二研讨会：计算新闻故事情节
• W8：语言处理的上坡战：将早期成就扩展为鲁棒方法

T1：NLP 神经网络实践：从理论到代码

讲者：Chris Dyer, Yoav Goldberg，Graham Neubig

内容介绍：本讲座旨在让NLP研究者加速与深度学习和神经网络领域的最新技术接轨，并展示如何将他们的想法变为现实。我们将从简单的分类模型（逻辑回归和多层感知器）开始，然后涵盖NLP相关的更多更高级的模型，如序列标记和预测问题的回归网络、结构化网络（如基于句法树的组合结构）、结构化输出空间（序列和数），关注序列和序列间的转导，以及复杂算法状态的特征归纳。

T2：NLP 中为可扩展联合推理的高级马尔科夫逻辑技术

讲者：Deepak Venugopal, Vibhav Gogate，Vincent Ng

内容介绍：在本讲座中，我们将介绍MLN中提升推理和学习的最新进展，以及使MLN成为NLP应用的“黑盒”的新方法。具体地说，我们将介绍过去几年里MLN研究中出现的一个关键方法：提升推理。提升推理是指利用对称性优势的推理技术，它在MLN中既是精确，又是近似。我们将解释如何用这些推理技术来执行有效的联合推断。我们还将展示我们用于MLN推理和学习的、基于提升推理的新软件包 Alchemy 2.0，展示如何使用它来扩展大型模型和数据集中判断语义相似性、信息提取和问题回答的推理和学习。

T3：自然语言处理中的终身机器学习

讲者：Zhiyuan Chen ＆ Bing Liu

内容介绍：机器学习（ML）已经成为解决许多 NLP 问题的普遍方法。然而，经典的ML范例仍然是孤立学习的。也就是说，给定一个数据集，对数据集执行ML算法，然后生成不使用任何相关知识或先验知识的模型。虽然这种类型的孤立学习非常有效，但它也有严重的局限性，因为它不会积累过去学到的知识，并用过去的知识来帮助未来的学习。这是人类学习和人类智能的特征。终身机器学习（LML）旨在实现这种能力。具体来说，它旨在设计和开发像人类一样学习的计算系统和算法，即积累过去学到的知识，并利用这些知识来帮助未来的学习。本讲座中，我们将介绍LML的现有研究，表明LML非常适合于NLP任务，并且有潜力帮助NLP取得更大进展。

T4：情感分析神经网络

讲者：Yue Zhang ＆ Duy Tin Vo

内容介绍：情感分析一直是自然语言处理（NLP）的一个主要研究课题。本讲座将介绍用于情感分析的神经网络模型，讨论词汇嵌入、序列模型和数结构模型的计算以及他们在词汇、句子及篇章层面上的应用，以及细粒度情感分析。本讲座涵盖一系列神经网络模型（如CNN，RNN，RecNN，LSTM）及其扩展，它们用于四个主要的情感分析任务：情感导向嵌入；句子层面情感分析；篇章层面情感分析；细粒度情感分析。

T5: 跨语言NLP应用中的连续向量空间

讲者：Rafael E. Banchs

内容介绍：几何学中向量空间内的距离概念，加上词义与语义被证明在许多单一自然语言出路应用中很有用。最新的证据表明，这一方法在跨语言背景中也很有用。在本讲座中，我们讨论了特定跨语言自然语言处理应用中向量空间模型范式的最新进展，对其背后的理论背景进行回顾。讲座介绍了关于分布式词义和向量空间方法的一些基本概念。更具体的，分布式理论的概念和术语记录标准将会被检视，然后是一个关于线性与非线性维度减少的简单讨论，以及这些方法对于词义认知的平行分布式方法的帮助。

T6：大规模结构化预测的方法和理论

讲者：Xu Sun、Yansong Feng

内容介绍：许多重要的NLP任务都被转化成一个结构化的预测难题，并尝试从输入中预测某种形式的结构化输出。结构化预测的例子包括POS 标签，也就是种类识别、PCFG 分析、依存关系语法分析、机器翻译等等。使用结构化预测来完成具体的NLP任务，面临以下几个挑战：① 模型选择：在众多拥有不同特征的模型和算法中，我们针对特定的NLP任务，该选择哪一个？② 训练：如何有效地训练模型参数？③ 过拟合：为了在测试数据上获得较好的准确率，对训练数据中的过拟合进行控制变得很重要。

在结构性预测中，如何控制过拟合的风险？这一讲座会对最近的模型和方法进展提供清晰的概览，并在NLP任务中使用结构化预测时解决上述问题。我们将会引入大型的编辑方法（比如，认知器、MIRA）、图像模型（CRF）和深度学习方法（RNN, LSTM），并分别展示这些方法在NLP应用中的优势和劣势。对于训练算法，我们将会介绍在线/随机训练方法，同时，我们也会介绍并行的在线/随机学习算法和理论，来推动训练（例如，Hogwild 算法）。在控制训练数据的过拟合问题上，我们将会介绍加权重规则化、结构规则化和简单规则化的方法。

最佳论文

最佳长论文

题目：通过强化学习获取外部证据提高信息提取精度

作者：MIT 人工智能实验室 Karthik Narasimhan，Adam Yala，Regina Barzilay

摘要

许多成功的信息提取系统通过访问大量文档进行。在这项研究中，我们探讨了在训练数据不足的领域，通过获取并合并外部证据来提高信息提取的精确度。这个过程需要发出搜索指令，从新源中提取并调和提取值，重复该过程直到收集到足够的证据。我们使用强化学习框架来处理这个问题，我们的模型能基于上下文信息学习选择出最佳动作。我们使用深度Q网络训练，以优化反映提取精度的回报函数，同时惩罚额外努力。我们在两个数据库（枪击事件和食物掺假事件）上的实验表明，我们的系统显著优于传统提取器和元分类器基线。

题目：全局性神经CCG分析

作者：华盛顿大学，Kenton Lee， Mike Lewis， Luke Zettlemoyer .

摘要

我们在论文中介绍了首个全局性递归神经分析模型，并在解码中使用优化的保证。为了支持全局性特征，我们放弃了动态的程序，转而在所有可能的子树空间中直接进行搜索。虽然这一空间在句子长度呈现了指数级的增长，我们证明，学习一个有效的A*分析是有可能的。我们对现有的分析模型进行了增强，这些模型 在外部分数上拥有信息集。全局性的模型的信息集较为宽松，但是只需要对非本地化的现象进行建模。全局模型使用了一种新颖的客观对象进行训练，鼓励分析器搜索有效且准确的东西。这一方法被用于CCG分析，将最好的准确率提升了0.4 F1。

最佳短论文

题目：从音素格中学习词库及翻译模型

作者：Oliver Adams, Graham Neubig, Trevor Cohn, Steven Bird, Quoc Truong Do and Satoshi Nakamura

摘要

语言的记录开始于口语的收集。由于缺少正字法或先有词库，字词级的手动或自动转写通常是不可能的。尽管手动进行音位转写可以做到，但非常耗时。另一方面，少数民族语言翻译成主流语言更容易实现。我们提出一种利用这种翻译来改善自动音素识别的方法。该方法假定没有先有词库或翻译模型，而是从音素位和已经转写的话语的翻译中学习词库和翻译模型。实验表明该方法在两个基线上的音素错误率有所降低，模型学习双语词汇条目的能力得到提高。

最佳资源论文

题目：SQuAD：机器理解 Text Pranav 10万+ 问题

作者：斯坦福大学计算机科学系 Rajpurkar，Jian Zhang，Konstantin Lopyrev & Percy Liang

摘要

我们推出了斯坦福问答数据库（SQuAD），这是一个新的阅读理解数据库，包含10万+ 维基百科中文章里的问题。在这个数据库中，每一个问题都是从相应的阅读文章中提取出来的 。我们对数据库进行分析，以理解要回答问题所需的推理的种类，在dependency和constituency trees 上进行了大量的学习。我们建立以一个强大的逻辑回归模型，获得了F1级 的分数，准确率在51%，比起简单基准的 20%有显著提升。但是，人类的表现（86.8%）还是要好得多，这也预示着，数据库提出了一个未来研究的难点问题。现在，该数据库可以免费获得： https://stanford-qa.com.