ACL2021 | CMU和北邮联合提出的DualGCN在基于Aspect的情感分析任务上达到了SOTA

每天给你送来NLP技术干货！

单位：北京邮电大学、卡内基梅隆大学 录取：ACL2021 链接：https://aclanthology.org/2021.acl-long.494.pdf

提取摘要

基于aspect的情感分析是细粒度情感分析的一个重要子任务。最近，GNN在已经成功的探索通过模型连接aspect和opinion words。但是，由于依存关系解析（dependency parsing）结果的不准确性以及在线评论的非正式表达和复杂性，改进受到限制。

为了解决这样的问题，本文提出了一个双图卷积网络(DualGCN)模型，该模型同时考虑了语法结构和语义关系的互补性。

具体来说，为了平衡dependency parsing的错误问题，设计了一个带有丰富句法信息的SynGCN模块；为了得到语义关系，设计了一个带有self-attention的SemGCN模块。

此外，本文还提出了正交(orthogonal) 和差分正则化 (differential regularizers)，通过限制SemGCN模块中的注意分数来精确捕获单词之间的语义相关性：

1. 正交正则化鼓励SemGCN学习语义相关的单词，使得每个单词的重叠较少。
2. 差分正则化鼓励SemGCN学习SynGCN没有捕捉到的信息。

最后，在三个公开数据集上的实验结果验证了DualGCN模型达到了SOTA，验证了模型的有效性。

下面的图简单介绍下基于aspect的情感分析任务和句子中的依存关系图：

贡献点

1. 在ABSA任务上提出一个DualGCN模型。

2. 提出正交(orthogonal) 和差分正则化 (differential regularizers)来优化。

3. 在数据集上验证了有效性。

具体介绍

模型

Graph Convolutional Network (GCN)

这个就很传统了，大家再熟悉下。

DualGCN

Syntax-based GCN (SynGCN)

为了解决依存句法产生定的错误问题，这里使用的是生成依存句法之前的依存关系概率矩阵，其中，这里使用的目前句法SOTA模型LAL-Parser (Mrini et al., 2019).

Semantic-based GCN (SemGCN)

SemGCN其实很好理解，她的邻接矩阵就是通过一层self-attention在lstm之后的隐层上的结果。

BiAffine Module

为了有效的使得SynGCN和SemGCN交换信息，这里使用了BiAffine映射方法：

最后将二者的隐层pooling后再concat起来过softmax做预测：

Regularizer

为了提高语义表达，本文为SemGCN提出两个正则方法：正交(orthogonal) 和差分正则化 (differential regularizers)。

Orthogonal Regularizer

直观上，每个词的相关项应该在句子的不同区域，所以注意力分数的分布应该要尽量少的重叠。因此，本文期望一个正则化器来鼓励所有词的注意分数向量之间的正交性：

differential regularizer

因为SynGCN和SemGCN学到的东西越不一样越好，所以这里提出了另一个正交方法：差分正则化 (differential regularizers)

损失函数

就是在正常的cross-entropy上再加上上面的2个正则以及所有参数的正则：

实验

三个公开数据集上的实验

案例分析

消融实验

提出的2种正则化的注意力图展示

DualGCN层数影响

‍