赛尔推荐 第21期

本栏目每周将推荐若干篇由师生精心挑选的前沿论文，分周三、周五两次推送。

本次推荐了三篇关于文本摘要，情感分类，图结构数据，自然语言处理，bAbI任务、机器翻译的论文。

1

推荐组：SA

推荐人：罗观柱（研究方向：情感分析）

论文题目：A Hierarchical End-to-End Model for Jointly Improving Text Summarization and Sentiment Classification

作者：Shuming Ma, Xu Sun, Junyang Lin, Xuancheng Ren

出处：IJCAI 2018

论文主要相关：文本摘要，情感分类

简评：

文本摘要和情感分类是NLP领域的两大任务，文本摘要有抽取式(extractive summarization)和生成式(abstractive summarization)两种，文本摘要和情感分类相似，都可体现文本所表达思想。文本摘要是以简单精炼的句子来表现文本思想，而情感分类则更抽象，即通过情感标签分类描述文本思想，从这方面来说，情感分类位于文本摘要的上层，是对文本摘要的“摘要”。以往的研究文本摘要和情感分类相互独立，而本论文提出了一种将文本摘要和情感分类相结合的分层模型，文本摘要和情感分类都有提高。该分层模型简单来说就是先使用Seq2Seq框架生成简短的摘要，然后再对该摘要进行进一步“摘要”（即情感分类）。

论文实验数据集为Amazon SNAP Review Dataset的子集，在Toys & Games, Sports & Outdoors, and Movie & TV三种Review Dataset相较baseline均有1～2%的提高。

论文链接：

https://arxiv.org/abs/1805.01089

2

推荐组：SP

推荐人：李忠阳（研究方向：事理图谱，事件预测与推理）

论文题目：Learning Graphical State Transitions

作者：Daniel D. Johnson

出处：ICLR 2017, Harvey Mudd College

论文主要相关：图结构数据，自然语言处理，bAbI任务

简评：

图结构数据广泛存在于多种真实场景当中。本工作从图结构的角度看待多种自然语言处理任务（例如问答），提出了一个基于图变换且高度灵活的机器学习框架。该框架包含两部分：一是一系列可微分图变换操作，包括增加节点、节点状态更新、边更新、信息传播、信息聚合；二是基于这些图变换的Gated Graph Transformer Neural Network (GGT-NN)模型。前人基于图结构的模型一般要求输入为图结构数据，但该框架的输入可以是图结构数据，也可以是自然语言序列这样的无结构化数据，并通过执行不同的图变换操作，动态地生成图结构的中间表示。通过采用不同的图变换操作配置，该框架可以灵活地应用于多种自然语言处理任务当中，例如表示学习、信息抽取、阅读理解等任务。在bAbI任务中（一系列简单的自然语言处理任务集合），20个任务中有19个都取得了95%以上的准确率。该框架非常有潜力，但同时也还很不成熟，要想将其应用到其他NLP任务当中，必须解决时空复杂性大、需要强指导信息等问题。

论文链接：

https://openreview.net/forum?id=HJ0NvFzxl

源代码链接：

https://github.com/hexahedria/gated-graph-transformer-network

3

推荐组：TG

推荐人：冷海涛（研究方向： 文本生成）

论文题目：Dynamic Sentence Sampling for Efficient Training of Neural Machine Translation

作者：R Wang ， M Utiyama ， E Sumita

出处：ACL 2018

论文主要相关：机器翻译

简评：

传统的神经网络机器翻译在每轮训练时均使用所有的数据，但是经过前几轮训练，模型已经很好的学习到某些数据的翻译过程，因此在接下来的训练过程中再次使用这些数据进行训练会浪费许多的时间。基于此，这篇文章提出了动态采样训练数据的方法来加速模型的训练，对于训练样本中的每个样例该方法都根据前后两轮的差异给定一个权重，而在每一轮训练中，该方法根据这些权重抽取一定百分比的训练数据用于模型训练。实验结果证明该方法在中英任务和英德任务上均能显著提高模型的训练效率并且一定程度上提高模型的性能。

论文链接：

https://arxiv.org/abs/1805.00178

往期链接：