每天给你送来NLP技术干货!
单位:北京邮电大学、卡内基梅隆大学 录取:ACL2021 链接:https://aclanthology.org/2021.acl-long.494.pdf
基于aspect的情感分析是细粒度情感分析的一个重要子任务。最近,GNN在已经成功的探索通过模型连接aspect和opinion words。但是,由于依存关系解析(dependency parsing)结果的不准确性以及在线评论的非正式表达和复杂性,改进受到限制。
为了解决这样的问题,本文提出了一个双图卷积网络(DualGCN)模型,该模型同时考虑了语法结构和语义关系的互补性。
具体来说,为了平衡dependency parsing的错误问题,设计了一个带有丰富句法信息的SynGCN模块;为了得到语义关系,设计了一个带有self-attention的SemGCN模块。
此外,本文还提出了正交(orthogonal) 和差分正则化 (differential regularizers),通过限制SemGCN模块中的注意分数来精确捕获单词之间的语义相关性:
最后,在三个公开数据集上的实验结果验证了DualGCN模型达到了SOTA,验证了模型的有效性。
下面的图简单介绍下基于aspect的情感分析任务和句子中的依存关系图:
1. 在ABSA任务上提出一个DualGCN模型。
2. 提出正交(orthogonal) 和差分正则化 (differential regularizers)来优化。
3. 在数据集上验证了有效性。
这个就很传统了,大家再熟悉下。
Syntax-based GCN (SynGCN)
为了解决依存句法产生定的错误问题,这里使用的是生成依存句法之前的依存关系概率矩阵,其中,这里使用的目前句法SOTA模型LAL-Parser (Mrini et al., 2019).
Semantic-based GCN (SemGCN)
SemGCN其实很好理解,她的邻接矩阵就是通过一层self-attention在lstm之后的隐层上的结果。
BiAffine Module
为了有效的使得SynGCN和SemGCN交换信息,这里使用了BiAffine映射方法:
最后将二者的隐层pooling后再concat起来过softmax做预测:
为了提高语义表达,本文为SemGCN提出两个正则方法:正交(orthogonal) 和差分正则化 (differential regularizers)。
Orthogonal Regularizer
直观上,每个词的相关项应该在句子的不同区域,所以注意力分数的分布应该要尽量少的重叠。因此,本文期望一个正则化器来鼓励所有词的注意分数向量之间的正交性:
differential regularizer
因为SynGCN和SemGCN学到的东西越不一样越好,所以这里提出了另一个正交方法:差分正则化 (differential regularizers)
就是在正常的cross-entropy上再加上上面的2个正则以及所有参数的正则:
三个公开数据集上的实验
案例分析
消融实验
提出的2种正则化的注意力图展示
DualGCN层数影响