专栏首页量子位华人斩获最佳Demo论文,Bengio获时间检验奖,最佳论文突破NLP传统测试方法 | ACL 2020

华人斩获最佳Demo论文,Bengio获时间检验奖,最佳论文突破NLP传统测试方法 | ACL 2020

萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI

NLP领域顶会ACL 2020颁奖刚刚结束,今年的最佳论文奖也尘埃落定。

在昨天的议程中,共颁布了最佳论文奖、最佳Demo论文奖、最佳主题论文奖三大奖项。

从今年投稿数量上来看,中美依旧领跑NLP领域,其中中国的论文数量还要更多一些。

今年论文投稿数量

这次的最佳论文奖被微软一举夺下,从论文内容上来看,的确值得仔细研读。

最佳论文突破NLP传统测试方法

这届ACL的最佳论文是《Beyond Accuracy: Behavioral Testing of NLP Models with CheckList》。(文末附论文链接)

这篇论文提出了一种全新的NLP模型测试方法CheckList

与之前提出的测试方法相比,它具有两点突出的特性:与任务无关、快速生成大量不同测试案例。

这一测试方法颠覆了之前NLP模型普遍采用的留出法(held-out)测试方法,相较而言,后者通常会高估NLP的性能。

经过测试,使用CheckList进行测试的NLP模型创建了比未使用CheckList的模型2倍的测试数量,发现了比平时测试多出3倍的bug量。

这种测试方法的提出,对于完善各种NLP模型具有很好的效果。

而在今年的会议上,来自微软的论文第一作者Marco Tulio Ribeiro,对CheckList的测试方法和原理进行了清晰简洁的解析。

生动的PPT解析

目前已有最佳论文解析的高清录像,对这篇论文感兴趣的小伙伴,可以一睹为快(文末附视频链接)。

顺带一提,论文的二作是华人女博士吴彤霜,来自华盛顿大学,本科于香港科技大学完成学士学位,专注于交互式机器学习、人机交互和可视化方向的研究。

ACL 2020最佳论文奖二作吴彤霜

华人斩获最佳Demo论文奖

除此之外,今年的华人团队还斩获了最佳Demo论文奖,华人一作Manling Li曾于国科大获得硕士学位。

这篇论文的题目是:《GAIA: A Fine-grained Multimedia Knowledge Extraction System》

论文提出了首个全面、开源的多媒体知识提取系统GAIA。(文末附GitHub开源链接)

GAIA通过各种途径来源获取非结构化、异构的多媒体数据流,并对这些输入进行处理,创建了一个结构化的知识库。

它能够对复杂图形进行无缝搜索,且能检索包括文本、图像和视频在内的多媒体数据。

在最近的NIST TAC SM-KBP2019评估中,这个提取系统表现最优。

ACL 2020最佳Demo论文奖一作Manling Li

最佳主题论文奖

除此之外,ACL 2020还评选出了今年的最佳主题论文奖,题目是《Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data》。

这篇论文提出了一种理论,基于ACL 2020的主题“Taking Stock of Where We’ve Been and Where We’re Going”下,认为清晰地理解“形式”与“意义”的差异,有助于引导该领域在自然语言理解层面上进行更科学的发展。

除最佳论文奖等相关奖项外,ACL 2020前天也公布了终身成就奖、时间检验奖和杰出服务奖,机器学习知名学者Yoshua Bengio也在这次的时间检验奖作者名单中。

Bengio获时间检验奖

ACL 2020的时间检验奖共4篇,2篇颁给了发表自1995年的经典论文,另外2篇则是发表自2010年的论文。

第一篇是1995年在CL上发表的文章:

这是计算语篇分析(computational discourse)领域中最重要的论文之一,彰显了「语言学」在「计算语言学」中的力量。

即使目前的语言处理方法已从基于逻辑的方法转向基于统计学的深度学习,但这篇论文中所提到的理论至今仍广受推崇。

第二篇是1995年发表于ACL的论文:

这篇论文展示了数据驱动在NLP领域的力量,是「语言学假说与无监督学习相结合」的具有开辟性的工作。

其在领域内提出的问题至今仍然在被研究:监督学习与无监督学习之间的差异,以及数据标记所需花费的成本。

第三篇论文是2010年发表在CL上的论文:

这篇论文提出了自监督预训练的方法(像BERT、word2vec中的应用),提升了计算语义学、语言学理论和认知模型的关联性。

第四篇论文于2010年发表在ACL上:

作为学术界里程碑式的著作,这篇论文首次将向量表示法应用于NLP方向,其倡导理论如今仍然主导着NLP领域。这篇论文的作者之一,就是Yoshua Bengio。

Yoshua Bengio

对终身成就奖和杰出服务奖感兴趣的小伙伴,可以戳下方传送门查看相关报道。

传送门

最佳论文奖:

https://www.aclweb.org/anthology/2020.acl-main.442.pdf

最佳Demo论文奖:

https://www.aclweb.org/anthology/2020.acl-demos.11.pdf

GAIA代码传送门:

https://github.com/GAIA-AIDA

最佳主题论文奖:

https://www.aclweb.org/anthology/2020.acl-main.463.pdf

最佳论文视频解析:

https://slideslive.com/38929272/beyond-accuracy-behavioral-testing-of-nlp-models-with-checklist

ACL 2020终身成就奖、杰出服务奖、时间检验奖相关报道:

https://mp.weixin.qq.com/s/8ju0eVuJOurBphly9sSPLQ

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

本文分享自微信公众号 - 量子位(QbitAI),作者:关注前沿科技

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何高效读论文?剑桥CS教授亲授“三遍论”:论文最多读三遍,有的放矢,步步深入

    一方面,把握最前沿的研究动态,激发自身研究灵感。另一方面,不做好文献调研,自己的绝妙想法变成了重复造轮子,这种体验可不太妙。

    量子位
  • 凭“颜值”拒稿,误判率仅0.4%?这篇计算机视觉论文让AI学界炸了锅

    不少人哈哈哈哈怀疑作者在搞笑,当然也有很多人严肃读论文,辩论数据、结论的不合理之处。甚至有人说,研究揭示了论文评审中本就存在的人类偏见。

    量子位
  • 阿里达摩院员工业余打造“论文知识图谱”工具:极速搜索,完全可视化

    最近,Reddit上的一位网友便分享了这样一款论文可视化工具—— Connected Papers,8小时就收获260赞。

    量子位
  • 凭“颜值”拒稿,误判率仅0.4%?这篇计算机视觉论文让AI学界炸了锅

    不少人哈哈哈哈怀疑作者在搞笑,当然也有很多人严肃读论文,辩论数据、结论的不合理之处。甚至有人说,研究揭示了论文评审中本就存在的人类偏见。

    小小詹同学
  • CVPR 2018奖项出炉:两篇最佳论文,何恺明获PAMI 青年研究员奖

    而在一个小时前,最受关注的 CVPR 2018 最佳论文结果揭晓:来自斯坦福大学和 UC Berkeley 的 Amir R. Zamir 等人获得 CVPR2...

    机器之心
  • 张翼英:一点论文写作心得

    【导读】论文是硕士博士必修之关。我们转载一篇来自张翼英老师的论文心得文章! 本文来自张翼英科学网博客。 链接地址:http://blog.sciencenet....

    WZEARW
  • ICML2020论文汇总来啦,包括每篇论文的创新点介绍和点评

    今年的 ICML 大会已经改为在 2020 年 7 月 13 日至 18 日线上举行。ICML 是机器学习领域最重要的会议之一,因此在该会议上发表论文的研究者也...

    深度学习技术前沿公众号博主
  • 华人学生斩获最佳论文、最佳Demo论文,ACL 2020获奖论文全部揭晓!

    刚刚,ACL 2020颁布了论文方面的奖项,共有1篇最佳论文,2篇最佳论文提名,1篇最佳主题论文,1篇最佳主题论文提名,1篇最佳demo论文,2篇最佳demo论...

    新智元
  • 斯坦福大学教授是如何阅读论文的?

    本文整理自斯坦福大学David R. Cheriton教授[1]的论文How to Read a Paper[2],笔者对其编译提炼,用于指导自己阅读论文,希望...

    陆道峰
  • 学界| 用20000篇论文告诉你:机器学习在过去五年中发生了什么

    AI科技评论按:arXiv.org 是一个专门收集物理学、数学、计算机科学与生物学论文预印本的网站。数据显示,截至 2014 年底的时候,arXiv 已经达到了...

    AI科技评论

扫码关注云+社区

领取腾讯云代金券