腾讯AI Lab 提出「完全依存森林」，大幅缓解关系抽取中的错误传递

作者 | 腾讯 AI Lab

责编 | 贾伟

AAAI 是人工智能领域的顶级国际会议之一。今年的 AAAI 2020 是第 34届，于2月7日至12日在美国纽约举行。

今年，第 3 次参会的腾讯 AI Lab 共有 31 篇论文入选，涵盖自然语言处理、计算机视觉、机器学习、机器人等领域。今天解读论文为：《Relation Extraction Exploiting Full Dependency Forests》。

这篇论文由腾讯 AI Lab 主导，与俄亥俄州立大学等机构合作完成。文章首先提出了完全依存森林的数据结构。它能够大幅度缓解使用 1-best 依存句法树带来的错误传播，并且能够根据终端任务对句法分析器进行进一步调整。

论文链接：https://freesunshine0316.github.io/files/RE_parser_joint__AAAI_2020_.pdf

许多自然语言处理（NLP）任务都需要句法分析的知识，尤其是依存句法分析直接对词与词之间的关系进行建模。目前的工作都是在预处理阶段获取1-best依存树，随后再将这些依存树用作额外的输入，进行终端任务模型的训练和测试。

这样做的缺陷有

（1）句法分析的错误会传播到终端任务中；

（2）句法分析模型不能根据终端任务进行适应调整。

最近的工作[1] 引入了依存森林，相比1-best依存树，依存森林能将更多的（n-best）依存树信息合并到一个紧凑压缩的图结构中，在不显著增加结构复杂度的前提下融入更多知识。但这样也只是缓解了第一个缺陷；并且无论是1-best依存树还是依存森林都是离散结构，对适应调整句法分析模型来说，难度会增大很多。

图 1 完全依存森林示例

为了缓解以上的问题，作者提出了“完全依存森林”。如图1所示，一个完全依存森林被定义成一个3D的向量，包含了全部可能的词与词的依存关系，区别于已有的1-best句法树和句法森林，完全依存森林

1）包括了全部的句法分析的信息，这样终端任务模型会根据任务信号从完全依存森林中学习获取对它有用的信息；

2）提供了可微分的连接，使得句法分析模型很容易根据终端任务的信号进行适应调整。

作者在关系抽取任务上对完全依存森林进行了验证，该任务的目标是识别出所有有关系的实体对并确定它们的关系。

图 2 基于数据依存型 CNN 的模型

如图2所示，为了更好地表示完全依存森林，作者提出一种基于数据依存型 CNN（DDCNN）的模型，左边是基于Deep biaffine [2]的依存分析器，它直接输出依存森林给右边DDCNN模型。右边的DDCNN模型考虑了一个句子会有多对目标提及对（target mention pair）（如图2中红色和蓝色标记的）的情况，通过将目标提及对输入给右上部分的核生成网络以动态地产生CNN网络的核参数，可用来计算最终分类器（图2中间上部分）的输入。

为了验证完全依存森林的有效性，作者在几个标准的（包括新闻和生物领域）关系抽取数据集上进行了验证。结果显示在生物领域数据上的提升比较明显，在BioCreative VI CPR和SemEval-2010 task 8数据的结果如表 1和表2所示。

表 1 在 BioCreative VI CPR测试集上的结果

表 2 在 SemEval-2010 task 8测试集上的结果

表3模拟了资源受限（小规模树库训练依存分析器）的情况下，给出了在依存分析器精度进一步下降的情况下各个模型的表现情况，从中可以看出该文章提出的框架在只有1K树库的情况下依然表现优异。

表 3 树库资源受限（依存分析精度下降）的情况下，在 BioCreative VI CPR的测试集上结果

[1] Leveraging Dependency Forest for Neural Medical Relation Extraction. Linfeng Song, Yue Zhang, Daniel Gildea, Mo Yu, Zhiguo Wang and Jinsong Su. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP).

[2] Deep Biaffine Attention for Neural Dependency Parsing. Timothy Dozat and Christopher D. Manning. In ICLR 2017.