【ACL2016 终极盘点】终身成就奖得主：我还没玩深度学习

【新智元导读】在德国柏林召开的计算机语言顶级会议ACL2016将于当地时间明天（8月12日）闭幕。今天，大会公布了最佳论文，一篇关于词态学的论文获此殊荣。此外，本年度ACL把终身成就奖颁给了功能语法LFG理论创建者之一的Joan Bresnan。最佳论文和终身成就奖都颁给了语言学，这是深度学习的失利吗？其实不然，从接收论文、优秀论文，还是课程讲义以及Workshop来看，深度学习在本年度的ACL大会上都有绝对重要的地位。中国科学院计算技术研究所研究员刘群接受新智元采访说，今年的ACL，深度学习很抢眼，是最大的热点。

计算机语言顶级会议ACL正在德国柏林召开，目前会议进行到主旨演讲阶段，与此同时，本届会议最佳论文和终身成就奖也于日前颁出。

最佳论文和最佳学生论文

根据ACL2016官方 twitter的消息，本届会议最佳论文归属《Finding Non-Arbitrary Form-Meaning Systematicity Using String-Metric Learning for Kernel Regression》（用核回归线性度量学习发现非任意意义形式系统）。作者是E. Dar´ıo Gutierrez 、Roger Levy和Benjamin K. Bergen。

这是一篇语言学论文，更具体地说，是一篇关于词态学的论文。

摘要

符号任意性是一个词语形式概念，与词义无关，它是许多语言学理论的前提。近来，有两个方向的研究对这一前提提出了挑战，但是，它们所得到的却是语言中非任意性特征。行为和语料库的研究证实了局部性的词义组成模型在有限词典子集中的效度。同时，全局（词典范围内）的统计学分析也发现了在整个词典中找到可扩散词义的组成系统。

本论文使用一种能在地区和全局性的词义组成系统之间搭建起桥梁的方法。在我们介绍的核回归方程式中，词义组成关系能够被用于预测词语的分布式语义向量，主要依据便是其形式。

此外，我们还介绍了一种全新的度量学习算法（metric learning algorithm ），它能学习权重编辑距离，进而让核回归的错误率最小化。我们的研究结果显示，比起此前的研究，英语词典展现出了更多的全局性词义组成系统，并且，这一系统大部分是聚焦在局部词义组成模型。

关注新智元，在后台回复081101，可下载论文。

最佳学生论文《On-line Active Reward Learning for Policy Optimisation in SDS》（口语对话系统策略优化中的在线主动回报学习），作者全都来自剑桥大学，他们分别是Pei-Hao Su, Milica Gasiˇ c, Nikola Mrk ´ siˇ c, Lina Rojas-Barahona, Stefan Ultes, David Vandyke, Tsung-Hsien Wen 和 Steve Young。

摘要

通过增强学习来优化对话策略时，计算一个准确的回报函数的能力非常关键。在现实的应用中，使用具体的用户回馈来作为回报信号通常是不可信的，并且搜集陈本很高。如果用户的意向能被提前了解，或者，有数据可以支撑起成功的离线预训练，那么这一难题是可以被解决的。实际上，二者都没有被用在现实的应用中。

本研究中，我们提出了一个在线学习框架，通过高斯处理模型，用主动学习来同时训练对话策略和回报模型。这一高斯处理模型在一个连续的空间对话表征上运行，而对话用一个非监督的方式生成，使用递归神经网络进行编码和解码。这一实验的结果显示，研究中提出的框架在对话策略学习中能够有效地减少数据注释成本、降低用户回馈中的噪音。

终身成就奖

ACL2016终身成就奖授予了斯坦福大学教授Joan Bresnan，她最广为人知的工作应该是词汇功能语法LFG（词汇功能语法：Lexical-Functional Grammar）。

据中国科学院计算技术研究所研究员刘群在微博上的介绍：Joan Bresnan 的获奖感言标题是 Linguistics: the Garden and the Bush，她把传统的语言学比作一个漂亮的花园，里面都是精美的理论，而现实的语言现象却像是灌木丛，只能用统计方法来处理。她介绍了她的研究工作从花园走向灌木丛的过程。

根据中国语言学家冯志伟的介绍，词汇功能语法（Lexical Functional Grammar, 简称 LFG）由J. Bresnan和R. M. Kaplan于1982年在《词汇功能语法 -- 一个语法表示的形式系统》（Lexical-functional Grammar: A Formal System for Grammatical Representation）一文中提出的。这种语法为自然语言的描述和语法知识的表达提供了一个有效的模式，它不仅可以解释幼儿的语言习得的机制，而且还可以解释人类处理自然语言的行为，从而满足了自然语言计算机处理的需要，在自然语言处理中得到了广泛的应用。词汇功能语法还采用了一系列有效的手段来克服短语结构语法的局限性，提高了语言自动分析的效率，成为当前最有影响的一种自然语言处理的形式模型。

词汇功能语法有两个来源：一个来源是J. Bresnan在转换语法的框架内所作的研究，另一个来源是R.M.Kaplan等在语言信息处理和心理语言学方面所作的研究。J. Bresnan感到转换生成语法把转换完全放在句法中不能对许多语言现象作出合适的解释，提出了将语法中的大部分放到词库内进行处理的模式。R.M.Kaplan认为人脑对于语言的处理并不完全按照转换生成语法的模式进行，在用计算机模拟人脑处理语言方面做了许多工作。最后，J. Bresnan和R.M.Kaplan在他们各自的成果的基础上合作，提出了词汇功能语法。

微博账户@算文解字说，Joan Bresnan是Chomsky以前的学生，背叛师门投入统计学派的怀抱。在ACL会场，台下有人问，你怎么看语法的competence(和performance之别)，她直接说她不信；有人问怎么看深度学习对语言学的解释，她说她还没玩DL。

语言学的胜利？

本年度的ACL最佳论文和终身成就奖都颁给了语言学，看起来时下火热的深度学习在计算机语言领域有点儿不受欢迎。事实真是这样吗？

微博@算文解字发表大会现场最佳论文公布的图片，并评论：“另一方面体现了大佬们鼓励Linguistics和非Deep Learning的用意”。

其实，不管是从接收论文、优秀论文，还是课程讲义以及Workshop来看，深度学习在本年度的ACL大会上都有绝对重要的地位。比如，获得优秀论文的Harnessing Deep Neural Networks with Logic Rules 就是一个很好的例证。

刘群接受新智元采访时评价说，今年的ACL，深度学习很抢眼，是最大的热点。

自然语言理解领域科学家Christopher Manning曾在演讲中提到，NLP中深度学习方法的应用，为计算机语义理解带来了一个有效的工具。 在这一方面，最成功的工具是新一代的分布式词语表征：神经词汇嵌入。然而，除了词义之外，我们还需要理解怎么分析大型文本的含义。这产生了两个基本的要求，一个是理解人类语言表达的结构，另一个是分析含义。深度学习的方法在这两方面都能起到作用。最终，我们需要理解文本内的关系，能够处理例如自然语言推理、问答之类的问题。

清华大学计算机科学与技术系助理研究员刘知远也曾在知乎上发表文章说，从2013年的word2vec开始，自然语言处理领域引爆了深度学习这个热点，至今有2年多了。在我看来，2014年的热点是各种新颖的词表示学习方法，而2015年则开始扩展到句子层次，CNN、RNN、LSTM等模型轮番上阵，在机器翻译、文档摘要、阅读理解、关系抽取等任务上取得了重要进展。进入2016年，3月份DeepMind推出的AlphaGo在今年3月大胜李世乭，更是把深度学习的热度推向新的高潮。

ACL上大公司的表现

谷歌

被接收论文（11篇）

1. 通过参数控制生成基于广义变换的依存分析Generalized Transition-based Dependency Parsing via Control Parameters 作者：Bernd Bohnet, Ryan McDonald, Emily Pitler, Ji Ma
2. 特定任务词表征学习中使用贝叶斯优化学习课程Learning the Curriculum with Bayesian Optimization for Task-Specific Word Representation Learning 作者：Yulia Tsvetkov, Manaal Faruqui, Wang Ling (Google DeepMind), Chris Dyer (Google DeepMind)
3. 使用基于图形的半监督学习生成形态句法词汇Morpho-syntactic Lexicon Generation Using Graph-based Semi-supervised Learning (TACL) 作者：Manaal Faruqui, Ryan McDonald, Radu Soricut
4. 支持多语种的解析器Many Languages, One Parser (TACL)作者：Waleed Ammar, George Mulcaire, Miguel Ballesteros, Chris Dyer (Google DeepMind)*, Noah A. Smith
5. 用于代码生成的隐藏预测器网络 Latent Predictor Networks for Code Generation 作者：Wang Ling (Google DeepMind), Phil Blunsom (Google DeepMind), Edward Grefenstette (Google DeepMind), Karl Moritz Hermann (Google DeepMind), Tomáš Kočiský (Google DeepMind), Fumin Wang (Google DeepMind), Andrew Senior (Google DeepMind)
6. 使用多焦点聚焦的集体解析 Collective Entity Resolution with Multi-Focal Attention 作者：Amir Globerson, Nevena Lazic, Soumen Chakrabarti, Amarnag Subramanya, Michael Ringgaard, Fernando Pereira
7. Plato：一种用于实体解析的选择语境模型 Plato: A Selective Context Model for Entity Resolution (TACL) 作者：Nevena Lazic, Amarnag Subramanya, Michael Ringgaard, Fernando Pereira
8. WIKIREADING：维基百科上一个新的大规模语言理解任务 WikiReading: A Novel Large-scale Language Understanding Task over Wikipedia 作者：Daniel Hewlett, Alexandre Lacoste, Llion Jones, Illia Polosukhin, Andrew Fandrianto, Jay Han, Matthew Kelcey, David Berthelot
9. 堆栈传播：升级版句法表征学习Stack-propagation: Improved Representation Learning for Syntax 作者：Yuan Zhang, David Weiss
10. 实证比较研究：词嵌入中的跨语言模型 Cross-lingual Models of Word Embeddings: An Empirical Comparison 作者：Shyam Upadhyay, Manaal Faruqui, Chris Dyer (Google DeepMind), Dan Roth
11. 基于全局标准化变换的神经网络Globally Normalized Transition-Based Neural Networks (入选最佳论文) 作者：Daniel Andor, Chris Alberti, David Weiss, Aliaksei Severyn, Alessandro Presta, Kuzman Ganchev, Slav Petrov, Michael Collins

此外，谷歌还有多场Workshop，研究员主要以DeepMind为主。

谷歌官方博客可下载全部论文：https://research.googleblog.com/2016/08/acl-2016-research-at-google.html

微软

根据其官方博客的介绍，微软共有20多名研究员参加今年的ACL大会。

微软最近的研究工作主要专注于语言生成：让机器状态、代码和结构化数据具有“声音”，这样用户就可以开始使用语言来高效地与机器协作，二者的对话是自然的、流畅的，在这种关系中，机器变成一个主动的可对话的合作伙伴。今年微软被 ACL 收录的一篇论文展示了如何根据一张照片生成合理的、有常识的问题，另外一篇则对如何在自然语言和代码间进行“翻译”进行了探索。

微软还对其长期工作目标的最新进展进行了展示，这些工作旨在从人类海量的自然对话中训练神经对话模型，学习如何在对话中的每个点上从零开始生成声音自然逼真的对话。随着自然语言对话变成交互设计中日益重要的方向，这种数据驱动的方法，正逐渐变成一个关键的研究方向。

被接收论文（16篇）

1. 基于角色的神经对话模型 “A Persona-Based Neural Conversation Model” 作者： Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao and Bill Dolan
2. 假设陈述中的进阶语义分析“Improved Semantic Parsers for If-Then Statements” 作者： I. Beltagy and Chris Quirk
3. 知识库和文本中关系路径的嵌入组合学习“Compositional Learning of Embeddings for Relation Paths in Knowledge Base and Text” 作者：Kristina Toutanova, Victoria Lin, Wen-tau Yih, Hoifung Poon and Chris Quirk
4. 一张图片中的生成自然问题“Generating Natural Questions about an Image” 作者： Nasrin Mostafazadeh, Ishan Misra, Jacob Devlin, Margaret Mitchell, Xiaodong He and Lucy Vanderwende
5. 用一个自然语言动作空间的深度增强学习“Deep Reinforcement Learning with a Natural Language Action Space” 作者： Ji He, Jianshu Chen, Xiaodong He, Jianfeng Gao, Lihong Li, Li Deng and Mari Ostendorf
6. 知识库问答中的语义解析标注的价值“The Value of Semantic Parse Labeling for Knowledge Base Question Answering” 作者： Wen-tau Yih, Matthew Richardson, Chris Meek, Ming-Wei Chang and Jina Suh
7. 局部训练的词嵌入的问题扩展“Query Expansion with Locally-Trained Word Embeddings” 作者： Fernando Diaz, Bhaskar Mitra and Nick Craswell
8. 使用矩阵结构的可扩展半监督问题归类 “Scalable Semi-Supervised Query Classification Using Matrix Sketching” 作者： Young-Bum Kim, Karl Stratos and Ruhi Sarikaya
9. 从用户情感基调和用户环境情感对比来推断人口统计“Inferring Perceived Demographics from User Emotional Tone and User-Environment Emotional Contrast” 作者：Svitlana Volkova and Yoram Bachrach
10. 采用门控递归半马尔科夫条件随机领域的分段序列建模“Segment-Level Sequence Modeling using Gated Recursive Semi-Markov Conditional Random Fields” 作者： Jingwei Zhuo, Jun Zhu, Yong Cao, Zaiqing Nie and Bo Zhang
11. 计算机解决数学题能做到多好？大规模数据集建立和评估“How well do Computers Solve Math Word Problems? Large-Scale Dataset Construction and Evaluation” 作者： Danqing Huang, Shuming Shi, Chin-Yew Lin, Jian Yin and Wei-Ying Ma
12. 通过耦合路径排序的知识库完善“Knowledge Base Completion via Coupled Path Ranking” 作者： Quan Wang, Jing Liu, Yuanfei Luo, Bin Wang and Chin-Yew Lin
13. 内隐和外显语义的新闻引用推荐“News Citation Recommendation with Implicit and Explicit Semantics” 作者： Hao Peng, Jing Liu and Chin-Yew Lin
14. RBPB：事件提取中基于规则化的模式平衡方法“RBPB: Regularization-Based Pattern Balancing Method for Event Extraction” 作者： Lei Sha, Jing Liu, Chin-Yew Lin, Sujian Li, Baobao Chang, Zhifang Sui
15. DocChat：使用非结构文档的聊天机器人引擎信息检索方法“DocChat: An Information Retrieval Approach for Chatbot Engines Using Unstructured Documents” 作者： Zhao Yan, Nan Duan, Junwei Bao, Peng Chen, Ming Zhou, Zhoujun Li and Jianshe Zhou
16. 机器翻译中，基于知识的语义嵌入“Knowledge-Based Semantic Embedding for Machine Translation”
17. 作者： Chen Shi, Shujie Liu, Shuo Ren, Shi Feng, Mu Li, Ming Zhou, Xu Sun and Houfeng Wang

微软官方博客可下载以上论文，其中，4、5、11、13空缺：https://www.microsoft.com/en-us/research/microsoft-nlp-researchers-converge-acl-2016-edging-ever-closer-human-like-conversational-experiences/