ACL 2016:基于深度学习的 NLP 看点

【新智元导读】计算语言领域顶级会议ACL2016今天公布了10篇优秀论文(outstanding paper)名单。本文介绍 ACL 2016 概况,同时收录清华大学计算机科学与技术系助理研究员刘知远在知乎的回答“基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展?”

今天,计算语言领域顶级会议 Annual Meeting of the Association for Computational Linguistics(ACL)组委会公布了 10 篇被评为 Outstanding Paper 的论文名单(后文有详细介绍并附下载)。

尽管距离开幕还有一段时间,但社交网络上的讨论一直处于预热之中。特别是在上述名单公布以后,Twitter 上相互祝贺的消息便没有断过。既如此,我们就来提前来感受一下 ACL 2016。

ACL 今年是第 54 届了,会议将于 8 月 7 日到 12 日在德国柏林的洪堡大学召开。用主办方的话形容,会场“本身就是一处历史名胜”:毗邻马克西姆·高尔基剧院、德国国家歌剧院,步行10分钟可达勃兰登堡门(地位类似凯旋门)。

第54届ACL将在8月7到12号在德国洪堡大学召开

本届会议共接收论文 327 篇,其中长文 230 篇,短文 97 篇。System demo 28 场。

据新智元统计,在接收的 327 篇论文中,第一作者为华人的约有一半。也就是说,继此前 CVPR、IJCAI 等会议之后,华人作者在 ACL 2016持续表现强劲。

去年 7 月,ACL 2015在中国北京召开,当时刷新了 ACL 投稿数量的纪录,相比 2014 年增加了 17%。ACL 2015 共吸引 692 篇长文投稿,其中 173 篇被接收(录用率 25%),648 篇短文投稿,其中 144 篇被接收(录用率 22.2%)。

对比去年的数据,今年会议接收的长文数量明显增加。其中,斯坦福大学 NLP 研究组今年的表现十分抢眼,一共有 8 篇论文被接收,包括 6 篇长文,1 篇短文以及在 system demo 发表的论文一篇。同时,据不完全统计,微软亚洲研究院 ACL2016 接收论文也至少有 7 篇(请以后续官方发布统计数字为准)。

ACL 2015 吸引了来自学术界和国内外知名企业的1200多名专家和学者。本届会议尚未召开,但从 ACL2016 官方 Twitter 发布的信息可知,本次会议参会人数应该是超出预期:

主办方十分高兴地宣布,他们成功在会议注册截止日期前与额外几家宾馆取得联系,可以安排住宿。

ACL 2016 由 Radboud University Nijmegen 的 Antal van den Bosch 担任大会主席。中科院研究员赵军是Workshop的co-Chairs 之一。在三位 Publication Chair 中,有一位是上海交通大学的副教授赵海。同样,清华大学的副教授刘洋也是三位 Faculty Advisors to the Student Research Workshop里的一个。如果不计算 Local committee,在 19 名 chair 中有 3 名是中国大陆学者。

本届大会共邀请了两名学者发表演讲,分别是UC Davis 的 Amber Boydstun 和爱丁堡大学的 Mark Steedman。其中,Amber Boydstun 的专攻是政治科学,关注世人的“attention”,两位学者分别会发表怎样的演讲,值得寻味。

此外,在本届会议预定举办的 15 个 workshop 中,历时最长的已经是第 15 次召开,也有首次出现的新面孔,其中尤其值得注意的是第一届 Representation Learning for NLP workshop,赞助方是谷歌 DeepMind、Facebook 和微软。其次,首次举办的机器翻译 workshop,是建立在此前统计机器翻译workshop基础之上,也是唯一连续两天都会举办的workshop。

刘知远:2016 年基于深度学习的NLP 有哪些值得期待?

不论是从接收论文列表,还是从 outstanding paper 的题目看,本次会议的讨论将十分有趣(继续见文末)。以下是清华大学计算机科学与技术系助理研究员刘知远,在知乎对“基于深度学习的自然语言处理在 2016 年有哪些值得期待的发展?”问题的回答(已取得授权,原文链接:https://www.zhihu.com/question/40489869)。

本文最后编辑于 2016年5月4日,刘老师也在文末注明,如果有新的想法,会不断补充。

从2013年的word2vec开始,自然语言处理领域引爆了深度学习这个热点,至今有2年多了。在我看来,2014年的热点是各种新颖的词表示学习方法,而2015年则开始扩展到句子层次,CNN、RNN、LSTM等模型轮番上阵,在机器翻译、文档摘要、阅读理解、关系抽取等任务上取得了重要进展。进入2016年,3月份DeepMind推出的AlphaGo在今年3月大胜李世乭,更是把深度学习的热度推向新的高潮。

2016年已经快过去一半,在这里猜测2016年NLP深度学习技术的发展趋势,也许并没有太大难度,我认为主要有以下几个:

  1. 深度学习模型在更多NLP任务上的定制化应用。例如将过去统计机器翻译的成熟成果迁移到神经网络模型上,基于深度学习的情感分析,再例如今年NAACL 2016的最佳论文Feuding Families and Former Friends; Unsupervised Learning for Dynamic Fictional Relationships也利用神经网络模型检测小说中的人物关系。
  2. 带有隐变量的神经网络模型。很多NLP任务传统主要基于HMM、CRF方法对标注标签的关联关系建模,而单纯的神经网络模型并不具备这个能力,因此一个重要热点将是在神经网络模型中引入隐变量,增强神经网络的建模能力。
  3. 注意力(attention)机制的广泛应用。大量工作已经证明attention机制在文本产生中的重要性,也是继CNN->RNN->LSTM之后的新的论文增长点,相信在2016年会有大量论文提出各种带有attention的神经网络模型。

以上是对2016年发展趋势的估计,也许等ACL、EMNLP和COLING一轮下来就能明了了。然而我想对未来更长一段时间的发展做一点思考。复旦大学邱锡鹏老师已经在他的回答中开了很多脑洞,很多观点很有启发。作为补充和争鸣,这里我也想讲讲我自己的想法。

如何将先验知识引入分布式表示

分布式表示(distributed representation)是深度学习的重要特点;避免特征工程的端对端(End-to-End)框架则是深度学习在NLP的独特优势。然而,现实世界中我们拥有大量人工标注的语言知识库和世界知识库,如何在深度学习框架中引入这些先验知识,是未来的重要挑战性问题,也是极大拓展深度学习能力的重要途径。在这个方面,有很多颇有创见的探索工作,例如来自香港华为Noah实验室Zhengdong Lu团队的Neural Enquirer: Learning to Query Tables [1],等等。此外,我认为基于深度学习的attention机制也是引入先验知识的重要可能手段。机器学习领域还提供了很多其他可能的手段,等待我们去探索。

探索人类举一反三能力的One-Shot Learning

如2015年在Science发表的轰动论文[2]所述,人类学习机制与目前深度学习的显著差异在于,深度学习利用需要借助大量训练数据才能实现其强大威力,而人类却能仅通过有限样例就能学习到新的概念和类别,这种举一反三的学习机制,是机器学习也是自然语言处理梦寐以求的能力。这需要我们特别关注认知领域的相关进展[3, 4],机器学习领域也在热切探索one-shot learning任务。在NLP领域,如何应对新词、新短语、新知识、新用法、新类别,都将与该能力密切相关。

从文本理解到文本生成的飞跃

目前取得重要成果的NLP任务大多在文本理解范畴,如文本分类,情感分类,机器翻译,文档摘要,阅读理解等。这些任务大多是对已有文本的“消费”。自然语言处理的飞跃,需要实现从“消费”到“生产”的飞跃,即探索如何由智能机器自动产生新的有用文本。虽然现在有媒体宣称实现了新闻的自动生成,但从技术上并无太多高深之处,更多是给定数据后,对既有新闻模板的自动填充,无论是从可扩展性还是智能性而言,都乏善可陈。我认为,自然语言处理即将面临的一个飞跃,就是智能机器可以汇总和归纳给定数据和信息,自动产生符合相关标准的文本,例如新闻、专利、百科词条[5]、论文的自动生成,以及智能人机对话系统等等。毫无疑问,这个技术飞跃带来的应用拥有无限的想象空间。

大规模知识图谱的构建与应用

“知识图谱”是谷歌推出的产品名,现在已经成为对大规模知识库的通用说法。如果说深度学习是机器大脑的学习机制,那么知识图谱可以看做机器大脑的知识库。知识图谱是问答系统的重要信息来源,也是阅读理解、机器翻译、文档摘要等任务进一步发展的重要支撑。目前,知识图谱从构建到应用都仍有很多问题亟待解决,例如新概念、新知识的自动学习,如何基于知识图谱实现智能推理,等等。在这方面,我一直关注知识的分布式表示学习,能够建立统一的语义表示空间,有效解决大规模知识图谱的数据稀疏问题,有望在知识获取、融合和推理方面发挥重要作用[6]。

以上是我最近对NLP深度学习技术发展的一些思考,限于个人视野难免以偏概全,主要希望起到抛砖引玉的功用,请大家批评指正。

参考文献

[1] Yin, Pengcheng, et al. "Neural Enquirer: Learning to Query Tables." arXiv preprint arXiv:1512.00965 (2015).

[2] Lake, Brenden M., Ruslan Salakhutdinov, and Joshua B. Tenenbaum. "Human-level concept learning through probabilistic program induction." Science 350.6266 (2015): 1332-1338.

[3] Tenenbaum, Joshua B., et al. "How to grow a mind: Statistics, structure, and abstraction." science 331.6022 (2011): 1279-1285.

[4] Vul, Edward, et al. "One and done? Optimal decisions from very few samples." Cognitive science 38.4 (2014): 599-637.

[5] Sauper, Christina, and Regina Barzilay. "Automatically generating wikipedia articles: A structure-aware approach." Proceedings of ACL-IJCNLP, 2009.

[6] 刘知远, 孙茂松, 林衍凯, 谢若冰. 知识表示学习研究进展. 计算机研究与发展, 2016.

ACL 2016 10 篇 outstanding 论文

在8月10日,会议将分别将在上午和下午的 session 中展示10篇本届 ACL 最佳论文。以下是论文列表:

A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task

Danqi Chen, Jason Bolton and Christopher D. Manning

Learning Language Games through Interaction

Sida I. Wang, Percy Liang and Christopher D. Manning

Finding Non-Arbitrary Form-Meaning Systematicity Using String-Metric Learning for Kernel Regression(缺)

E.Dario Gutierrez, Roger Levy and Benjamin Bergen

Improving Hypernymy Detection with an Integrated Path-based and Distributional Method

Vered Shwartz, Yoav Goldberg and Ido Dagan

Integrating Distributional Lexical Contrast into Word Embeddings for Antonym-Synonym Distinction

Kim Anh Nguyen, Sabine Schulte im Walde and Ngoc Thang Vu

Multimodal Pivots for Image Caption Translation

Julian Hitschler, Shigehiko Schamoni and Stefan Riezler

Harnessing Deep Neural Networks with Logic Rules

Zhiting Hu, Xuezhe Ma, Zhengzhong Liu, Eduard Hovy and Eric Xing

Case and Cause in Icelandic: Reconstructing Causal Networks of Cascaded Language Changes(缺)

Fermin Moscoso del Prado Martin and Christian Brendel

On-line Active Reward Learning for Policy Optimisation in Spoken Dialogue Systems

Pei-Hao Su, Milica Gasic, Nikola Mrkšić, Lina M. Rojas Barahona, Stefan Ultes, David Vandyke, Tsung-Hsien Wen and Steve Young

Globally Normalized Transition-Based Neural Networks

Daniel Andor, Chris Alberti, David Weiss, Aliaksei Severyn, Alessandro Presta, Kuzman Ganchev, Slav Petrov and Michael Collins

***

ACL 2015 的最佳论文分别授予慕尼黑大学的 AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes,与都柏林大学圣三一学院的 Improving Evaluation of Machine Translation Quality Estimation。本届最佳论文会什么,请关注新智元后续报道。

原文发布于微信公众号 - 新智元(AI_era)

原文发表时间:2016-07-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

专栏 | 上海纽约大学张峥教授:2017年影响力论文推荐

这篇文章特意选择在 NIPS2017 会议期间发表,但与会者并没有特别大的反应。相反,在研讨会上这篇文章引起了关于通用智能的一场针锋相对的讨论。

13520
来自专栏新智元

NIPS2018大会门票遭疯抢!11分钟秒光,刷个牙就没了

昨天,神经信息处理系统大会(Neural Information Processing Systems,NIPS)开放注册,会议门票在短短11分钟内就售罄;半小...

25320
来自专栏AI科技评论

学界 | 如何提高NIPS论文命中率?这里有一份详细的分析

在学术界,NIPS大会在论文方面的争议似乎比其他学术会议更为突出一些。例如去年在ML圈子里影响颇大的SARM论文撤稿事件就是在NIPS,以及像这位叫Thang ...

49770
来自专栏量子位

马上开始的机器学习顶会ICML该关注什么?论文集、精彩Workshop都在这里

14030
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/1/28

注意下面很多链接需要科学上网,无奈国情如此 1. Google Brain年终总结part 2,总结2017年在医疗,机器人,文艺创作等等方面的成果,我个人对r...

396100
来自专栏新智元

【遗失的秘钥】贝叶斯定理:人工智能的进化论?

贝叶斯定理正在变得如此流行,以至于在CBS剧《生活大爆炸》中也出现了它的身影。纽约时报说,贝叶斯统计学家“遍布一切,从物理学到癌症研究,从生态学到心理学”。物理...

35080
来自专栏机器之心

2017机器学习与自然语言处理学术全景图:多产的作者与机构都是谁?

37280
来自专栏大数据文摘

周博磊知乎热答:如何评价何恺明大神斩获ICCV 2017最佳论文

17730
来自专栏灯塔大数据

塔说 | 麦克阿瑟天才奖得主解码计算机视觉“原罪”:AI 如何认识人类世界

导读:麦克阿瑟“天才奖”获得者Trevor Paglen训练AI算法,他的展览项目“看不见的图像的研究”(A Study of Invisible Images...

35190
来自专栏新智元

【揭秘】美国天网文档泄露,机器学习算法或错误杀害数千人

从2004年至今,美军无人机的轰炸已经在巴基斯坦的某个地区杀死了2500~4000人,其中绝大多数死者都被美国政府归类为“极端分子”。轰炸对象的选择背后,...

30660

扫码关注云+社区

领取腾讯云代金券