论文提交数量爆炸式增长,最大规模NLP会议ACL 2019放榜

机器之心报道

参与:路、李亚洲

自然语言处理领域顶级会议 ACL 将于 7 月 28 日至 8 月 2 日在意大利佛罗伦萨举行。日前,ACL 2019 已经向论文作者发放通知,希望投稿 ACL 2019 的读者们的论文能够上榜。

最大规模NLP会议

3月份时,ACL 官方公布了今年大会收到的投稿数量 ——2906 篇,相比于去年的 1544 篇出现了大幅增长。ACL 2019 也毫无争议地成为了目前规模最大的一场 NLP 学术会议。

下图展示了近 20 年来 ACL 大会论文投递数量、评审人员数量和(高级)领域主席数量变化趋势图。

图源:http://acl2019pcblog.fileli.unipi.it/?p=156

除去撤回论文等,ACL 2019 共收到有效论文 2694 篇,包括 1609 篇长论文和 1085 篇短论文。下表展示了各领域的提交论文情况:

其中提交论文数量位列前三的领域与ACL 2018一致:

  • 信息提取与文本挖掘(占 ACL 2019 有效提交论文总数的9.2%,去年该领域论文所占比例为11.5%);
  • 机器学习(8.2% ACL 2019 vs. 7.4% ACL 2018);
  • 机器翻译(7.7% ACL 2019 vs. 8.3% ACL 2018)。

对话和交互系统」在两届 ACL 会议上都在前五之内。但是,去年提交论文数量排第四的「文档分析」今年掉到了16位,去年以59篇论文排名14位的「生成」领域今年以156篇提交论文数量一跃而至第5名(该领域提交论文数量增长率甚至超过了大会总的增长率)。此外,「语言学理论、认知建模和心理语言学」(Linguistic Theories, Cognitive Modeling and Psycholinguistics)领域也有很大增长,从去年 24 篇提交论文发展到今年的 60 篇提交论文。

总体而言,各个分支领域的提交论文分布较为平均,如下图所示:

图源:http://acl2019pcblog.fileli.unipi.it/?p=152

惯例:被吐槽的评审

学术会议接收到的论文越来越多,论文评审不可避免地成为了一大难题。事实也证明,每个AI学术大会,都会被或多或少吐槽「评审不专业」、「混乱」等。

如前文所述,ACL 已经成为自然语言领域学术会议的龙头,投稿过量的情况下论文评审难免被诟病。

先不说评审质量,今年的 ACL 论文结果的通知就比既定时间晚了数个小时,让一直侯在电脑前等结果的作者们「心慌慌」,ACL 2019 官方 Twitter 下就有网友表示「8 个小时的等待快把我逼疯了」。

最后,官方也给出了推迟的原因,「通知延后是因为 START 系统技术问题。我们不确定通过这个系统邮件联系作者是否有用。我们正在处理,请作者们耐心等候。」

当然,这只是一个「小意外」,最重要的还是论文评审质量的反馈。emmm,小编今天一早打开 Twitter,首先映入眼帘的就是 ACL 2019 的信息,有的作者在庆祝自己的论文被接收,有的就在吐槽了,也有部分作者考虑改投 EMNLP 了。

其实,面对今年如此巨大的提交论文涨幅,ACL 2019程序委员会也采取了一系列措施,以更好地执行论文评审过程。

据官方介绍,ACL 2019 在项目委员会(Program Committee)之上开设高级项目委员会(Senior Program Committee),并为高级项目委员会招募大量高级领域主席(SAC,共 46 位,每个领域 2-4 名)和领域主席(AC,184 名,每个领域 3-15 名)。

其中,SAC 向 AC 和评审人员分配论文,并给出自己领域内的推荐;AC 则各自管理自己领域内的一小部分论文,领导评审人员之间的讨论,写 meta-review,并给出最初的论文推荐结果。这一结构对缺乏有经验的评审者这一问题提供了一些作用。AC 集中看一小部分论文,因此可以更加关注评审流程。而 ACL 2019 共招募了 2281 名评审人员,相比于去年的 1610 名增长了42%。

此外,ACL 2019 还做了一些流程上的改变:

  • 放弃了 paper bidding 阶段。这个阶段会占用数天时间,鉴于今年的论文数量,这一过程会更加耗时。此外,大会还担心评审人员倾向于选择自己喜欢的论文,而不是选择自己有资格评审的论文。大会计划使用 Toronto Paper Matching System (TPMS) 为评审者分配论文,但这个系统的效果不如预期。SAC 在这一过程中做了杰出的工作,不过这个任务显然需要更好的自动化支持。
  • 和 NAACL 2019 一样,ACL 2019 取消了作者回应阶段。作者回应最初旨在改进评审流程,但非常耗时(不仅是作者的时间,还有评审者和领域主席的时间)。
  • ACL 2019 采用了更加简单的评审形式,既鼓励严谨的评审,又减轻了评审人员的工作负担,更加强调决策过程中的关键点。

目前,ACL 2019 的完整论文列表还未公布,因为尚不知道接收率等数据,机器之心会持续关注最新消息。截止到大会结束的这段时间,我们也会为大家推送优质的 ACL 论文。如果有读者的论文被此大会接收,也可以留言给我们,我们会选择一些论文推荐给广大读者。

本文为机器之心报道,转载请联系本公众号获得授权。

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

开放下载!复旦大学邱锡鹏教授发布教科书《神经网络与深度学习》

邱老师昨天就在知乎发布了这本书:「整本书终于写完了,虽然还有很多不足。但先告一段落,不然就得无限期拖延下去。感谢众多热心网友的意见和建议。全书的内容可以从这里(...

21520
来自专栏机器之心

2018图灵奖公布!Hinton、Bengio、LeCun深度学习三巨头共享

据官方公告介绍,因三位巨头在深度神经网络概念和工程上的突破,使得 DNN 成为计算的一个重要构成,从而成为 2018 年图灵奖得主。

9620
来自专栏机器之心

每天打电话提醒你拿快递的,也许是这个AI语音助手……

新年刚过,身在老家的我就接到了这样一个电话。电话对方明显是一个对话机器人,我们在用时不到一分钟的时间里完成了下面这几轮对话:

10330
来自专栏机器之心

数学转CS,看斯坦福NLP博士、Manning高徒Abigail See怎么学AI

答:我在英国剑桥长大,很小的时候就对数学感兴趣。我喜欢做奥数题,本科时在剑桥大学学习纯粹数学。虽然数学很有意思,但我想研究一些与现实世界联系更强的东西,于是我转...

10120
来自专栏机器之心

像人一样编辑源代码,谷歌大脑提出神经网络也可以学「编程」

总体而言,这份研究在于理解人类编写代码的过程(例如 GitHub 的 commit),并使用深度神经网络模拟这个动态的编辑过程。只需要给定上一次的编辑信息,模型...

12320
来自专栏机器之心

跨语言版BERT:Facebook提出跨语言预训练模型XLM

项目地址:https://github.com/facebookresearch/XLM

29240
来自专栏人工智能头条

别说还不懂依存句法分析

本文简要介绍了自然语言处理中极其重要的句法分析,并侧重对依存句法分析进行了重点总结,包括定义、重要概念、基本方法、性能评价、依存分析数据集,最后,分享了一些流行...

41420
来自专栏机器之心

现有模型还「不懂」自然语言:20多位研究者谈NLP四大开放性问题

采访实录:https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN...

10420
来自专栏机器之心

Transformer在进化!谷歌大脑用架构搜索方法找到Evolved Transformer

在过去的几年里,神经架构搜索领域取得了极大进展。通过强化学习和进化得到的模型已经被证明可以超越人类设计的模型(Real et al., 2019; Zoph e...

10920
来自专栏机器之心

横扫13项中文NLP任务:香侬科技提出汉语字形表征向量Glyce+田字格CNN

汉字是一种象形文字,可以被分解为更小、更基础的音义结合体:象形(即对象的图像化表述,如「亻」、「日」、「木」)和形声(用于发音,如「晴」中的「青」)。汉朝的《说...

12220

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励