【论文解读】情感-原因关系挖掘 —— ACL2019杰出论文
【论文解读】情感-原因关系挖掘 —— ACL2019杰出论文
作者：BUPT-_LiJiale
CSDN：LiJiale_
这是一篇2019ACL的杰出论文，链接: https://arxiv.org/abs/1906.01267v1.
Abstract
Emotion cause extraction (ECE),实现的是在文本中给定情感，提取出潜在的原因。这个问题近些年广泛应用而得到人们的关注，然而ECE有两个不足：
- 在原因提取之前情感必须要被标注；
- 先标注、再提取忽视了二者的相互关系。
所以该论文提出了新的任务：emotion-cause pair extraction (ECPE)，用来提取潜在的“情感-原因”对。在ECPE中分为两步，首先通过多任务学习分别提取情感和原因，然后进行情感和原因的配对并进行过滤。
Main contributions：
- 提出了新任务ECPE，解决了传统ECE任务依赖于标注的短板
- 提出了two-step框架解决ECPE
- 基于ECE语料库构造了适合ECPE任务的语料库
1.Introduction
如下图所示，有五个子句，情感“happy”在第四个句子中，并称之为emotion clause，它有两个对应的cause clause：“a policeman visited the old man with the lost money”和“told him that the thief was caught”，由于包含着原因，所以这两个定义为cause clause。
ECE任务是一个二分类问题，目标是检查文档中的每一个子句是否是被标注情感的原因。这篇论文提出的ECPE与ECE的区别如下图所示，ECPE的输出为“情感-原因”对，不需要事先对情感进行标注。在下图的例子中，在ECE中，已知情感是“happy”，目标是提取出两个cause clause：“a policeman visited the old man with the lost money”和“and told him that the thief was caught”；在ECPE中，目标是直接提取所有的 「“情感-原因”」 对，有：(“The old man was very happy”, “a policeman visited the old man with the lost money”)和(“The old man was very happy”,“and told him that the thief was caught”)
本文提出的任务主要有两个步骤：
- 把“情感-原因”提取任务通过多任务学习网络分为两个独立的任务：提取出情感子句和原因子句
- 将 E 和 C 通过笛卡尔乘积进行配对，通过训练一个filter过滤掉不包含情感和原因关系的配对
2.Approach
首先给出ECPE符号定义：一个包含多个子句的文档
ECPE的目标是提取“情感-原因”对：
其中，是情感子句，是原因子句；在传统抽取任务中，目标是在给定的条件下抽取：
- Step 1：情感提取和原因提取 第一步有Independent Multi-task Learning和 Interactive Multi-task Learning两种方法，后者要优于前者，可以在前者基础上进一步抓取了情感和原因之间的联系，下面对这两种方法进行介绍：
- Independent Multi-task Learning 有文档，每个句子包含多个单词, 使用2层的Bi-LSTM，如下图所示
底层用的是word-level的Bi-LSTM，每个Bi-LSTM对应一个子句，获得每个子句中单词的上下文信息，通过attention机制获得句子的表示,（原文中没有写具体形式，个人认为这里的attention，大概体现在子句中每个单词的重要程度）；第二层对应为两部分，一个是情感提取一个是原因提取，每个Bi-LSTM都是句子级别的，接收下层传上来的句子的表示,隐藏状态和可以看作是句子的context-aware representation，最终送入softmax层进行情感预测和原因预测（下标e和c分布代表情感和原因）：
和是情感预测和原因预测的交叉熵损失，λ为权衡参数，模型的损失函数为：
- Interactive Multi-task Learning 上一方法中顶层的两部分是相互独立的，给定情感可以有助于提取原因，但是给定原因也有助于提取情感，于是Interactive Multi-task Learning致力于捕捉情感和原因之间的关系。使用情感抽取来帮助原因抽取的方法称为Inter-EC，用原因抽取来帮助情感抽取的方法称为Inter-CE，二者的结构相似，文章只对Inter-EC进行了介绍，结构如下图所示：
底层得到的句子表示作为情感提取的输入，隐藏状态是标签的特征，经过嵌入得到，继续向上走，（⊕代表concatenation）作为原因提取的输入，隐藏态用来预测，至此实现了两者的交互
- Step 2：情感原因的配对和过滤 经过Step 1，得到了一组情感情感子句和原因子句；Step 2中，E和C做笛卡尔乘积，得到所有可能的配对,接下来中的每一对都用有三种特征构成的特征向量表示：
其中和是情感子句和原因子句的表示，代表两个句子的距离。 接着用逻辑回归检测每个候选对是否有因果关系，
存在因果关系时，否则;是Sigmoid函数，最终将中的对移除，就得到了最终的“情感-原因”对。