ACL 2020：微软摘得最佳论文，Bengio论文获时间检验奖，大陆论文量第二

机器之心报道

参与：魔王、小舟、杜伟

在陆续放出时间检验奖、终身成就奖和杰出服务奖之后，ACL 2020 终于公布了今年的最佳论文奖。该奖项由来自微软研究院、华盛顿大学和加州大学欧文分校的研究者摘得，主题是与任务无关的 NLP 模型测试方法。

ACL 是自然语言处理领域的顶级会议，根据刚刚发布的最新版 Google Scholar Metrics，ACL 继续领跑计算语言学领域，h5 指数达到 135。

今年的 ACL 会议于本月 5 日至 10 日在线上召开。此次会议公布了最佳论文、最佳主题论文、最佳 demo 论文、时间检验奖等多个奖项。

此外，大会官方也介绍了今年的接收论文、热门研究主题等数据。

ACL 2020 共收到投稿 3429 篇，创下了 ACL 投稿数量的新纪录。此次会议共接收论文 779 篇，包括 571 篇长论文和 208 篇短论文，论文接收率为 22.7%。

接下来，我们看下 ACL 2020 的热门研究主题。

用于 NLP 的机器学习、对话与交互技术、机器翻译、信息提取和 NLP 应用是此次会议最热门的 5 个研究主题，每个都有超过 200 篇论文投稿。其中「用于 NLP 的机器学习」主题的论文投稿接近 300 篇（296）。

此外，大会公布了论文提交数量最多的 25 个国家或地区，中国大陆以 1084 篇的提交量位列第一，其次是美国。

从接收论文的数量看，排在前 5 位的国家或地区分别是：美国（305 篇），中国大陆（185 篇），英国（50 篇），德国（44 篇），日本（24 篇）。

接下来就是今天的重头戏——奖项了。

最佳论文奖

ACL 2020 最佳论文奖项由来自微软研究院、华盛顿大学、加州大学欧文分校的研究人员摘得，该研究提出了一种与任务无关的 NLP 模型测试方法。

论文链接：https://www.aclweb.org/anthology/2020.acl-main.442.pdf

简介：尽管衡量留出（held-out）准确率是评估模型泛化性能的主要方法，但它通常会高估 NLP 模型的性能，而其他评估模型的替代性方法要么专注于单项任务，要么只看特定行为。

受软件工程中行为测试原则的启发，这项研究提出了一种与任务无关的 NLP 模型测试方法——CheckList。CheckList 不仅包含一些通用语言能力和测试类型以促进全面的测试，还包括一个软件工具，能够快速生成大量不同测试案例。

研究人员在三项任务中测试了 CheckList 的效果，在商业化模型和 SOTA 模型中都发现了严重的问题。一项用户调查显示，负责商业化情感分析模型的团队在一个经过大量测试的模型中发现了新的 bug。而在另一项用户调查中，使用 CheckList 的 NLP 从业者创建的测试数量是未使用 CheckList 的两倍，发现的 bug 数量是后者的三倍。

此外，大会还公布了最佳论文荣誉提名奖，共有两篇论文获得此奖项。

最佳主题论文奖

此次会议的最佳主题论文奖由来自美国华盛顿大学和德国萨尔大学的研究者摘得。

论文链接：https://www.aclweb.org/anthology/2020.acl-main.463/

简介：大型神经语言模型在许多 NLP 任务上获得成功。但是，该研究发现这些成功有时会被过度夸大。这些模型经常被描述成「理解」语言或者捕获语言的「意义」。该研究认为，仅接受形式训练的系统不具备学习语言意义的能力。在 ACL 2020 的主题「Taking Stock of Where We’ve Been and Where We’re Going」下，该研究认为，清晰地理解「形式」与「意义」的区别有助于引导该领域在自然语言理解层面有更科学的发展。

此外，会议还公布了最佳主题论文提名奖：

最佳 Demo 论文

论文链接：https://blender.cs.illinois.edu/paper/aidaacl2020demo.pdf

简介：这项研究提出了首个综合开源的多媒体知识提取系统，该系统可基于不同的内容源和语言提取大量非结构化异构多媒体数据，并遵循丰富细粒度本体，创建出连贯且结构化的知识库、索引实体、关系和事件。

该研究提出的系统 GAIA 可实现复杂图 query 的无缝搜索，并检索出文本、图像和视频等多媒体证据。GAIA 在近期的 NIST TAC SM-KBP2019 评估中实现了顶级性能。

• GitHub 地址：https://github.com/GAIA-AIDA
• 论文讲解视频：http://blender.cs.illinois.edu/aida/gaia.mp4

以下两篇论文获得了 ACL 2020 最佳 demo 论文荣誉提名奖：

除了最佳论文、最佳主题论文和最佳 Demo 论文之外，ACL 2020 还公布了时间检验奖、终身成就奖，以及杰出服务奖。

时间检验奖

ACL 2020 的时间检验奖（Test of Time Awards）颁给了 4 篇论文，其中 2 篇发表于 1995 年，经受住了 25 年的时间检验，另外两篇发表于 2010 年。

论文 1：Centering: A Framework for Modeling the Local Coherence of Discourse

• 论文链接：https://www.aclweb.org/anthology/J95-2003.pdf
• 论文作者：Barbara J. Grosz（哈佛大学）、Aravind K. Joshi（宾大）、Scott Weinstein（宾大）

这篇论文于 1995 年发表在 CL 上，被引用次数高达 2700 多次。

该论文是计算对话（computational discourse）领域最重要的论文之一，融合了理论语言学、心理语言学和形式语义学，展示了「语言学」在「计算语言学」中的力量。

论文 2：Unsupervised Word Sense Disambiguation Rivaling Supervised Methods

• 论文链接：https://www.aclweb.org/anthology/P95-1026.pdf
• 论文作者：David Yarowsky（宾大计算机与信息科学系）

这篇论文于 1995 年发表在 ACL 上，被引用次数也在 2700 次以上。

该论文开创性地将语言学假设和无监督学习融合起来，展示了统计数据驱动的技术在 NLP 领域中的强大作用。这篇论文探讨的问题——监督学习和无监督学习的性能差距、标注数据的成本，放到现在依旧不过时。

论文 3：Distributional Memory: A General Framework for Corpus-Based Semantics

• 论文链接：https://www.mitpressjournals.org/doi/pdf/10.1162/coli_a_00016
• 论文作者：Marco Baroni（特伦托大学）、Alessandro Lenci（比萨大学）

本文于 2010 年发表在 CL 上，被引用次数近 700 次。

该论文开创性地提倡词汇语义学的通用学得表征，提出自监督预训练方法（类似于 word2vec、BERT 中所使用的），促进了计算语义学、认知建模和语言学理论之间的联系。

论文 4：Word representations: A simple and general method for semi-supervised learning

• 论文链接：https://www.aclweb.org/anthology/P10-1040.pdf
• 论文作者：Joseph Turian（蒙特利尔大学）、Lev Ratinov（伊利诺伊大学厄巴纳 - 香槟分校）、Yoshua Bengio（蒙特利尔大学）

这篇论文于 2010 年发表在 ACL 上，被引用次数超过 2200 次。

该论文是将向量表示用于 NLP 任务的里程碑式著作。它在提出词嵌入方面早了大约五年，并首次在多项 NLP 任务上对比了 distributional 和 distributed（分布式）词表示，论文倡导的思想至今在 NLP 领域占据中心地位。

终身成就奖

大会将终身成就奖颁给了爱丁堡大学荣休教授 Bonnie Webber。ACL 组委会表示，该奖项旨在表彰她在篇章分析领域做出的杰出贡献。

1978 年，Bonnie Webber 在哈佛大学获得博士学位。之后在宾夕法尼亚大学任教多年，后进入爱丁堡大学任教。2016 年，她从爱丁堡大学退休，成为爱丁堡大学语言、认知和计算研究所智能系统的名誉教授。

Bonnie Webber 致力于篇章研究，参与了宾州篇章树库（Penn Discourse TreeBank）的开发。

她的博士论文《A Formal Approach to Discourse Anaphora》使用形式逻辑对自然语言语句的意义进行建模。此外，Bonnie Webber 与人合著《模拟人类：计算机图形动画和控制》一书，并参与编写了《Elements of Discourse Understanding》、《Readings in Artificial Intelligence》等书籍。

Bonnie Webber 于 1980 年担任 ACL 主席，1991 年成为 AAAI Fellow，2004 年当选爱丁堡皇家学会会士。2012 年因其在篇章结构和基于篇章的解释方面的突出贡献，Bonnie Webber 被授予 ACL Fellow。在本届 ACL 大会上，她获得 ACL 终身成就奖。

出生于 1946 年，现年 74 岁的 Bonnie Webber 仍然笔耕不辍。从她的谷歌学术页面，我们可以看到她 2019 年参与的论文数量达 12 篇之多。

杰出服务奖

ACL 2020 将今年的杰出服务奖颁给了多伦多大学计算机语言学教授 Graeme Hirst。

Graeme Hirst 的研究兴趣为：计算机语言学和自然语言处理，及其在医疗卫生、社会科学和人文科学中的应用。他是《Human Language Technologies》综合丛书的编辑，曾获得加拿大人工智能协会颁发的终身成就奖。

此外，Graeme Hirst 于 2004-05 年担任 ACL 北美分会的主席，2008-2017 年担任 ACL 财务主管，并于 2019 年成为 ACL Fellow。

ACL 主席 Hinrich Schutze 在颁奖时表示：「这些年来，Graeme Hirst 一直负责 ACL 的财务事宜，始终深入参与大会的组织流程等相关工作，为大会的顺利举办做出了突出贡献。感谢 Graeme Hirst 一直以来为 ACL 做出的贡献。」