专栏首页深度学习自然语言处理【论文解读】情感-原因关系挖掘 —— ACL2019杰出论文

【论文解读】情感-原因关系挖掘 —— ACL2019杰出论文

作者:BUPT-_LiJiale

CSDN:LiJiale_

这是一篇2019ACL的杰出论文,链接: https://arxiv.org/abs/1906.01267v1.

Abstract

Emotion cause extraction (ECE),实现的是在文本中给定情感,提取出潜在的原因。这个问题近些年广泛应用而得到人们的关注,然而ECE有两个不足:

  • 在原因提取之前情感必须要被标注;
  • 先标注、再提取忽视了二者的相互关系。

所以该论文提出了新的任务:emotion-cause pair extraction (ECPE),用来提取潜在的“情感-原因”对。在ECPE中分为两步,首先通过多任务学习分别提取情感和原因,然后进行情感和原因的配对并进行过滤。

Main contributions:

  • 提出了新任务ECPE,解决了传统ECE任务依赖于标注的短板
  • 提出了two-step框架解决ECPE
  • 基于ECE语料库构造了适合ECPE任务的语料库

1.Introduction

如下图所示,有五个子句,情感“happy”在第四个句子中,并称之为emotion clause,它有两个对应的cause clause:“a policeman visited the old man with the lost money”和“told him that the thief was caught”,由于包含着原因,所以这两个定义为cause clause。

ECE任务是一个二分类问题,目标是检查文档中的每一个子句是否是被标注情感的原因。这篇论文提出的ECPE与ECE的区别如下图所示,ECPE的输出为“情感-原因”对,不需要事先对情感进行标注。在下图的例子中,在ECE中,已知情感是“happy”,目标是提取出两个cause clause:“a policeman visited the old man with the lost money”和“and told him that the thief was caught”;在ECPE中,目标是直接提取所有的 「“情感-原因”」 对,有:(“The old man was very happy”, “a policeman visited the old man with the lost money”)和(“The old man was very happy”,“and told him that the thief was caught”)

本文提出的任务主要有两个步骤:

  • 把“情感-原因”提取任务通过多任务学习网络分为两个独立的任务:提取出情感子句和原因子句
  • 将 E 和 C 通过笛卡尔乘积进行配对,通过训练一个filter过滤掉不包含情感和原因关系的配对

2.Approach

首先给出ECPE符号定义:一个包含多个子句的文档

ECPE的目标是提取“情感-原因”对:

其中,是情感子句,是原因子句;在传统抽取任务中,目标是在给定的条件下抽取:

  • Step 1:情感提取和原因提取 第一步有Independent Multi-task Learning和 Interactive Multi-task Learning两种方法,后者要优于前者,可以在前者基础上进一步抓取了情感和原因之间的联系,下面对这两种方法进行介绍:
    • Independent Multi-task Learning 有文档,每个句子包含多个单词, 使用2层的Bi-LSTM,如下图所示

    底层用的是word-level的Bi-LSTM,每个Bi-LSTM对应一个子句,获得每个子句中单词的上下文信息,通过attention机制获得句子的表示,(原文中没有写具体形式,个人认为这里的attention,大概体现在子句中每个单词的重要程度);第二层对应为两部分,一个是情感提取一个是原因提取,每个Bi-LSTM都是句子级别的,接收下层传上来的句子的表示,隐藏状态和可以看作是句子的context-aware representation,最终送入softmax层进行情感预测和原因预测(下标e和c分布代表情感和原因):

和是情感预测和原因预测的交叉熵损失,λ为权衡参数,模型的损失函数为:

  • Interactive Multi-task Learning 上一方法中顶层的两部分是相互独立的,给定情感可以有助于提取原因,但是给定原因也有助于提取情感,于是Interactive Multi-task Learning致力于捕捉情感和原因之间的关系。使用情感抽取来帮助原因抽取的方法称为Inter-EC,用原因抽取来帮助情感抽取的方法称为Inter-CE,二者的结构相似,文章只对Inter-EC进行了介绍,结构如下图所示:

底层得到的句子表示作为情感提取的输入,隐藏状态是标签的特征,经过嵌入得到,继续向上走,(⊕代表concatenation)作为原因提取的输入,隐藏态用来预测,至此实现了两者的交互

  • Step 2:情感原因的配对和过滤 经过Step 1,得到了一组情感情感子句和原因子句;Step 2中,E和C做笛卡尔乘积,得到所有可能的配对,接下来中的每一对都用有三种特征构成的特征向量表示:

其中和是情感子句和原因子句的表示,代表两个句子的距离。 接着用逻辑回归检测每个候选对是否有因果关系,

存在因果关系时,否则;是Sigmoid函数,最终将中的对移除,就得到了最终的“情感-原因”对。

本文分享自微信公众号 - 深度学习自然语言处理(zenRRan),作者:BUPT-_LiJiale

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-04-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【论文分享】ACL 2020 细粒度情感分析方法

    情感分析是文本分类的一种,主要方法是提取文本的表示特征,并基于这些特征进行分类。情感分析根据研究对象的粒度不同可分为文本级、句子级、对象级等,分别对相应单位的文...

    zenRRan
  • 【干货】22道机器学习常见面试题目

    有监督学习:对具有概念标记(分类)的训练样本进行学习,以尽可能对训练样本集外的数据进行标记(分类)预测。这里,所有的标记(分类)是已知的。因此,训练样本的岐义性...

    zenRRan
  • step-by-step: 夕小瑶版神经网络调参指南

    闭关几个月后,其实早有继续码文章的打算,先后写了一下核函数与神经网络的一些思考、文本预处理tricks、不均衡文本分类问题、多标签分类问题、tensorflow...

    zenRRan
  • R语言学习笔记——柱形图

    今天分享R语言中的柱形图,所有图表语法都基于ggplot2包中的ggplot函数完成 。 其实R语言本身就带有各种作图函数,比如plot、bar、pie等,而且...

    数据小磨坊
  • 神器与神器:微软宣布VsCode支持Jupyter Notebook

    大家都知道Jupyter Notebook是一款编写Python的神器,然而编辑Jupyter Notebook离不开网页,很多本地的编辑器都不支持编译Note...

    HuangWeiAI
  • 使用Flutter实现一个走马灯布局的示例代码

    走马灯是一种常见的效果,本文讲一下如何用 PageView 在 Flutter 里实现一个走马灯, 效果如下,当前页面的高度比其它页面高,切换页面的时候有一个高...

    砸漏
  • 一文简短介绍Caffe

    导语:在经过三天之后,我们的活动人数已经达到50人了,感谢大家对小编的支持,同时在本文末附上活动的众筹榜单(同日另一篇文)。希望能跟小伙伴们度过愉快的6天! 深...

    IT派
  • 陆奇宣布卸任COO后首度露面,将担任李彦宏的个人顾问

    上周五(5.18),百度宣布集团总裁兼首席运营官陆奇由于个人和家庭原因,无法继续全职在北京工作,将从 7 月起不再担任上述职务,但仍将继续担任集团公司副董事长。...

    AI科技大本营
  • WebIDE的安装

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

    Jerry Wang
  • 面试:SpringBoot中的条件注解底层是如何实现的?

    SpringBoot内部提供了特有的注解:条件注解(Conditional Annotation)。比如:

    程序猿DD

扫码关注云+社区

领取腾讯云代金券