AAAI 2018学术见闻——NLP篇

作者:哈工大SCIR博士生朱海潮 王宇轩

一、会议概况介绍

AAAI2018(https://aaai.org/Conferences/AAAI-18/)于2018年2月2日到2018年2月7日在美国新奥尔良举办。本次会议共收到投稿3808篇,最终录用938篇论文,录用率为24.6%。

本次会议接受最多的投稿来自中国,多达1242篇,比去年增长58%,美国紧随其后,有934篇。对比去年两国投稿数量(中国785篇、美国776篇)可以明显感受到中国人工智能研究的飞速发展。但同时也应注意到,尽管投稿数远超美国,但是两国的论文录用数却基本持平(中国265篇,录用率21.3%、美国268篇,录用率28.4%),因此如何提高论文质量从而提升录用率,也是今后需要重视的问题。

此外,从研究领域来看,今年投稿及录用前三的领域分别是机器学习方法(Machine Learning Methods)、视觉(Vision)和自然语言处理及机器学习(NLP and Machine Learning)。与去年的前三名(机器学习、自然语言处理和应用)相比,视觉领域可谓异军突起,投稿率和录用率增幅分别达257%和285%。

由于AAAI会议囊括了人工智能领域几乎所有分支的内容,许多活动时间重复,因此本文主要介绍自然语言处理相关领域的学术见闻。

图1 本次会议接受论文按领域分布情况

二、讲习班简介

会议前两天(2月2日到3日)是讲习班时间,本次会议共有26个涵盖了人工智能各个领域的讲习班,由于许多讲习班是同时进行的,这里只对其中两个进行简介。关于讲习班更具体的信息及slides可以在https://aaai.org/Conferences/AAAI-18/aaai18tutorials/ 找到。

1、结构化预测的近期发展

该讲习班的主讲人是来自华盛顿州立大学的Jana Doppa助理教授、来自塔夫茨大学的Liping Liu助理教授和来自俄勒冈州立大学的博士生Chao Ma。结构化预测(structured prediction)方法被广泛地应用于自然语言处理、计算机视觉及生物信息学等研究领域。近年来结构化预测领域有许多新的研究进展,包括新的框架、算法、理论及分析等。三位主讲人在讲习班中系统地介绍了现存的各种解决结构化预测问题的框架,并着重讲解了该领域近年来的发展。例如:基于搜索的结构化预测、摊销推理(amortized inference)、PAC理论与推理、多任务结构化预测以及如何将深度学习方法应用到结构化预测中。最后,他们指出了该领域有可能的发展和研究方向。

2、网络表示学习

该讲习班的主讲人是来自清华大学的助理教授崔鹏。如今,大型复杂网络被应用在越来越多的实际场景中,网络数据也被公认为是复杂且具有挑战性的,有效处理图结构数据的最主要的挑战就是网络数据的表示,即如何合适地表示网络使后续的模式挖掘、分析预测等高阶任务更快的完成,同时不浪费过多的空间资源。在讲习班上,主讲人介绍了近年来在网络嵌入方面的研究成果,对若干重要概念(Graph Embedding vs Network Embedding)加以区分讲解,并讨论了一系列网络嵌入中的重要基本问题,如我们为什么要重新审视网络表示,网络嵌入的研究目标是什么,如何学习有效的网络嵌入方法,评价网络表示的若干基本要素,还有网络嵌入方面的未来若干主要研究方向。另外,崔鹏教授所在团队发表一篇网络嵌入的综述,可以作为本讲习班的一个扩展阅读,arXiv地址:https://arxiv.org/abs/1711.08752 。

三、特邀演讲介绍

本次会议特别邀请了人工智能领域七位重量级嘉宾做了主题演讲,这七位特邀嘉宾分别为 Subbarao Kambhampati教授、Yejin Choi助理教授、Cynthia Dwork教授、Zoubin Ghahramani教授、Joseph Halpern教授、Charles Isbell教授和Percy Liang助理教授。他们分别从自己研究领域出发,分享自身研究成果,为观众带来一场AI知识盛宴。

1、人类感知AI系统的挑战——Subbarao Kambhampati

AAAI 2018主席,亚利桑那州立大学的Subbarao Kambhampati教授的演讲主题是《人类感知AI系统的挑战》(Challenges of Human-Aware AI Systems)。随着AI技术与我们日常生活越来越紧密的结合,使用AI系统协助人类工作的需求日益增加。要满足这些需求,AI系统需要更重视情感智能、社交智能等能帮助人类互相协同的智能方面。演讲中,Kambhampati教授介绍了设计具有人类认知功能的AI系统过程中遇到的挑战,包括对人类的心理状态进行建模、识别人类的意图、提供积极的帮助、采取具有可解释性的动作以及产生信任。此外,他还谈到人类感知AI系统的问题。探索这一问题可以扩大人工智能企业的研究范围,有效促进了真正的跨学科合作,甚至能够提高公众对人工智能技术的接受程度。

图2 Subbarao Kambhampati教授演讲现场

2、从纯粹的物理世界到内涵:用语言来学习和推理世界——Yejin Choi

华盛顿大学助理教授Yejin Choi的演讲主题是《从纯粹的物理世界到内涵:用语言来学习和推理世界》(From Naive Physics to Connotation: Learning and Reasoning about the World using Language)。常识性知识对于机器理解语言十分重要。然而这些常识往往不被言明,因而从语言交流中学习这些常识十分困难(例如人们往往不会在交流中直接说出类似于“房子比人大”这种常识)。Yejin Choi在演讲中介绍从语言中还原出这些日常知识的方法。方法的核心思想是:人们共有的隐性知识系统地影响着人们使用语言的方式,以语言使用方式为线索,真实世界的常识可以从语言中推理出来。(例如,从“我进入了房子”这句话就能推断出房子比我大。)在具体实施过程方面,她首先介绍了如何利用框架语义组织多种多样的常识,这些常识包括最简单的具体知识以及抽象的内涵知识。除了这种以框架语义表示为中心的方法外,她还介绍了利用神经网络的方法。最后,她讨论了这些方法所面临的挑战,并指出了该领域未来可能的研究方向。

图3 Yejin Choi助理教授演讲现场

3、我们应该如何评价AI的机器学习——Percy Liang

著名华人NLP专家,来自斯坦福大学的助理教授Percy Liang这次带来的演讲主题是《我们应该如何评价AI的机器学习》(How Should We Evaluate Machine Learning for AI?)。机器学习帮助人工智能取得的巨大成功,但它同时也带来了一种“训练-测试-评价”的范式。这种标准范式过分注重提高系统的平均表现,忽视系统在对抗样本上的表现,无法保证系统的鲁棒性。除此之外,这种范式对于交互式系统(对话系统)或没有正确答案的任务也无可奈何。Percy Liang在演讲中介绍了自然语言处理领域里一些其它的评价范式,并讨论了如何指导人工智能向有意义的方向发展。

图4 Percy Liang助理教授演讲现场

另外四位特邀嘉宾中,Cynthia Dwork教授讲了有关公平问题的研究,Zoubin Ghahramani教授讲了概率机器学习前沿动态,Joseph Halpern教授讲了关于真实推理问题的研究,Charles Isbell教授则讲了交互式机器学习研究中的问题和技巧。具体信息可以参考https://aaai.org/Conferences/AAAI-18/invited-speakers/。

在此次会议上,AAAI还专门推出了AI和人类协作新兴课题计划,其目的就是为了突出这些技术的挑战和机遇,同时展现新的人与AI伙伴关系的价值。因此,除七位特邀演讲嘉宾之外,还邀请了四位嘉宾,从他们的研究领域出发,分别从四个不同的角度对这一新兴课题进行阐述。具体信息可以参考https://aaai.org/Conferences/AAAI-18/haic/。

四、论文选介

1、最佳论文

本次会议的最佳论文(Outstanding Paper)奖一栏包括以下四篇文章:

1)最佳论文奖(Outstanding Paper):Chenjun Xiao, Jincheng Mei, Martin Müller.Memory-Augmented Monte Carlo Tree Search

2)最佳学生论文奖(Outstanding Student Paper):Jakob N. Foerster, Gregory Farquhar, Triantafyllos Afouras, Nantas Nardelli, Shimon Whiteson.Counterfactual Multi-Agent Policy Gradients

3)最佳论文奖提名(Outstanding Paper, Honorable Mention):Juan D. Correa, Jin Tian, Elias Bareinboim.Generalized Adjustment Under Confounding and Selection Biases

4)最佳学生论文奖提名(Outstanding Student Paper, Honorable Mention):Rachel Freedman, Jana Schaich Borg, Walter Sinnott-Armstrong, John P. Dickerson, Vincent Conitzer.Adapting a Kidney Exchange Algorithm to Align with Human Values

其中最佳论文奖的一作二作都是中国留学生,他们的导师Martin Müller是计算机围棋领域的顶级专家,主要研究领域包括:博弈树搜索和规划中的蒙特卡洛方法、大规模并行搜索、组合博弈论等。而AlphaGo的主要设计者David Silver和Aja Huang都曾师从于他。本文提出了一种记忆增强的蒙特卡洛树搜索算法,其核心思想是为蒙特卡洛树搜索增加一个记忆结构用来保存特定状态的信息,然后通过组合该记忆结构中相似状态的估计值对近似值进行估计。围棋任务上的实验表明该算法的性能在相同模拟次数情况下优于普通蒙特卡洛树搜索算法。

本次会议共录用自然语言处理领域论文73篇,其中句法语义分析、问答系统、表示学习、情感分析、文本生成、机器翻译和对话系统等领域录用数量相对较多。这里从每个领域中选取一篇有代表性的论文进行介绍。

2、句法语义分析

* Xiaochang Peng, Daniel Gildea, Giorgio Satta.AMR Parsing with Cache Transition Systems

AMR(Abstract Meaning Representation)是句子的一种语义表示,每个句子的含义都用一个有向图来表示,图5给出了一个AMR的例子。本文提出了一种新的转移系统,使得原本用于分析依存树结构的基于转移的分析方法能用于分析这种AMR语义图。具体来说,在原来转移系统的栈(stack)和缓存(buffer)之外,作者新增了一个具有固定长度的cache结构用于暂时保存图中节点,其中的所有节点都能与缓存中第一个节点之间产生弧,也就解决了分析图结构的问题。

图5 AMR语义图结构

近年来随着研究者们对语义结构的日益重视,出现了越来越多图结构的语义语料库,相应的对语义图的分析方法研究也越来越多。本次会议上除了这篇文章之外,也有对依存语义图的分析方法的研究工作:

* Yuxuan Wang, Wanxiang Che, Jiang Guo, Ting Liu.A Neural Transition-Based Approach for Semantic Dependency Graph Parsing

当然,也有一些对传统短语结构树或者依存树的分析方法的研究工作:

* Lemao Liu, Muhua Zhu, Shuming Shi.Improving Sequence-to-Sequence Constituency Parsing

* Yi Zhou, Junying Zhou, Lu Liu, Jiangtao Feng, Haoyuan Peng, Xiaoqing Zheng.RNN-Based Sequence-Preserved Attention for Dependency Parsing

3、问答系统

* Lei Sha, Jin-ge Yao, Sujian Li, Baobao Chang, Zhifang Sui.A Multi-View Fusion Neural Network for Answer Selection.

社区问答(CQA)任务要求根据给定的问答从候选集合中选择最恰当的答案,之前的基于神经网络的方法通过计算attention的方式来收集、组合有用的信息,这种single-view的方法不能从多个方面来审视问题和候选答案,进而导致信息的丢失。本文提出了Multi-View Fusion Neural Network从多个view来表示答案。图6为inquiry type、inquiry main verb、inquiry semantic三个view的示意图,图7为co-attention view的示意图。

图6 inquiry views示意图

图7 co-attention view示意图

然后本文提出Fusion RNN来融合基于所有view的答案表示,Fusion RNN的结构如图8所示,在结构设计上借鉴了残差网络的思想。模型在WikiQA和SemEval-2016 CQA任务上取得了超过SOTA的结果。

图8 Fusion RNN示意图

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180326B0FQP400?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券