【论文】图文解读经典之作Span-Graph for SRL - 一篇经典的语义角色标注paper

点击上方，选择星标或置顶，每天给你送干货

链接： https://blog.csdn.net/choose_c/article/details/90273333

论文发表：ACL 2018

Github：https://github.com/luheng/lsgn

论文研究对象：

文章研究的是nlp中的语义角色标注问题（srl）。语义角色标注常见方法是基于成分句法树或基于依存句法树，今天讲的是深度学习模型进行语义角色标注。srl模型可以分为end to end和gold predicates，即句子中的谓语需要模型进行预测和提前知道两种情况，本文方法为前者，一步到位。而按照输出结果的形式还可以分为Span-Graph for SRL和BIO-tagging-based两种，本文方法也是前者，两者差别见下图。

好！接下来直接讲模型吧，上图，放公式。

首先输入是word&char representation，char向量经过cnn和词向量concate得到，词向量可以使用预训练的词向量，论文中使用了glove向量，elmo词向量可以进一步提升效果。这一层向量我们用表示，然后经过双向lstm之后得到contextualized representations，我们使用表示。由于在后面还会使用到向量，论文作者实现时原始用了一种glove预训练向量，传入lstm的向量用了另一个glove预训练向量（传入lstm的词向量可能会小一些，也可以使用相同的向量）。接着，需要分别得到predicate representation和argument representation。predicate representation可以用直接表示，而argument representation，即上图中的span representation则复杂一些，它是由一个论元头尾的词向量start，和end，还有h和f(a)concate得到，见如下公式。

接下来讲一下xh的表示，可以看到xh和其他词向量的差别，他用的是原始向量（前面说到会用到，就是这里）。xh(a)使用注意力机制得到，注意力权重使用向量计算得到，见如下公式，通过计算得到权重，与原始向量计算得到。

最后的f(a)表示的是论元的width的embedding表示，记录论元width信息。到这里模型各种的输入信息的表示介绍完了。

一句话如果有n个单词组成，那么可能的论元情况就有n的平方种，可能的谓语词就有n个，而谓语词和论文的关系如果有L种，那最后模型的复杂度为，通过选取限定论元和谓语词的候选值和判断他们是否存在关系可以将复杂度降低到 ,如果再限制论元width，论文中选取30，那最后的复杂度为.

论元和谓语词的候选值的选取可以通过之前的向量表示经过全连接之后得到的score值作为筛选条件。计算公式如下。

最后的输出可以通过计算候选论元和候选谓语词的关系得到所有可能输出结果，结果计算如下图。模型的介绍到此结束。

最后模型结果达到了当时的state of the art，2019的aaai上的论文[1]效果超过了它，模型如下图，其实没有太多的改动，就在最后获得最后结果的时候使用了Biaffine Scorer的预测方式。

参考：

[1] Dependency or Span, End-to-End Uniform Semantic Role Labeling