ACL2022 关系抽取相关论文泛读

每天给你送来NLP技术干货！

写在前面

今天给大家分享的是是ACL 2022上与实体关系抽取相关的部门论文范读笔记。其中有一些小喵自己也在学习，后续会推出精读笔记。

1. DocRE

论文名称：《Document-Level Relation Extraction with Adaptive Focal Loss and Knowledge Distillation》 论文链接：https://aclanthology.org/2022.findings-acl.132.pdf 代码地址：https://github.com/tonytan48/KD-DocRE 论文概括：具有自适应焦点损失和知识蒸馏的文档级关系抽取

文档级关系抽取要同时从多个句子中提取关系。针对这个任务，本文提出了一个半监督算法 DocRE。DocRE 共有三个新组件：

• 第一，用轴向注意力模块学习实体对之间的依赖关系。
• 第二，提出了一个自适应的焦点损失来解决DocRE中类的不平衡问题。
• 最后，利用知识蒸馏来克服人工标注数据与远程监督数据之间的差异。

现有问题：现存的方法关注实体对的句法特征，而忽略了实体对之间的交互作用；目前还没有工作可以直接地解决类的不平衡问题。现存的工作仅仅关注阈值学习来平衡正例和负例，但正例内部的类不平衡问题并没有得到解决；关于将远程监督数据应用于DocRE任务的研究很少。

贡献点：

• 轴向注意力：提升two-hop关系的推理能力；
• 自适应焦点损失：解决标签分配不平衡的问题，长尾类在总的损失中占比较多；
• 知识蒸馏：克服标注数据和远程监督数据之间的差异。

DocRE

2. PL-Marker

论文名称：《Packed Levitated Marker for Entity and Relation Extraction》 论文链接：https://aclanthology.org/2022.acl-long.337.pdf 代码地址：https://github.com/thunlp/PL-Marker 论文概括：打包悬浮标记用于实体和关系抽取

最近的命名实体识别和关系抽取工作专注于研究如何从预训练模型中获得更好的span表示。然而，许多工作忽略了span之间的相互关系。本文提出了一种基于悬浮标记的span表示方法，在编码过程中通过特定策略打包标记来考虑span之间的相互关系。对于命名实体识别任务，提出了一种面向邻居span的打包策略，以更好地建模实体边界信息。对于关系抽取任务，设计了一种面向头实体的打包策略，将每个头实体以及可能的尾实体打包，以共同建模同头实体的span对。

PL-Marker

3. CRL

论文名称：《Consistent Representation Learning for Continual Relation Extraction》 论文链接：https://aclanthology.org/2022.findings-acl.268.pdf 代码地址：https://github.com/thuiar/CRL 论文概括：一致表示学习用于连续关系抽取

通过对比学习和回放记忆时的知识蒸馏，提出一种新颖的一致性表示学习方法。使用基于记忆库的监督对比学习来训练每一个新的任务，以使模型高效学习特征表示。为了防止对老任务的遗忘，构造了记忆样本的连续回放，同时让模型保留在知识蒸馏中历史任务之间的关系。

CRL

4. MCMN

论文名称：《Pre-training to Match for Unified Low-shot Relation Extraction》 论文链接：https://aclanthology.org/2022.acl-long.397.pdf 代码地址：https://github.com/fc-liu/MCMN 论文概括：预训练用于匹配统一少样本关系抽取

低样本关系抽取旨在少样本甚至零样本场景下的关系抽取。由于低样本关系抽取所包含任务形式多样，传统方法难以统一处理。本文针对这一问题，提出了一种统一的低样本匹配网络：

• 基于语义提示（prompt）范式，构造了从关系描述到句子实例的匹配网络模型；
• 针对匹配网络模型学习，设计了三元组-复述的预训练方法，以增强模型对关系描述与实例之间语义匹配的泛化性。

在零样本、小样本以及带负例的小样本关系抽取评测基准上的实验结果表明，该方法能有效提升低样本场景下关系抽取的性能，并且具备了较好的任务自适应能力。

MCMN

文章来源：https://hubojing.github.io/ 作者：靖待 编辑：@公众号：AI算法小喵

📝论文解读投稿，让你的文章被更多不同背景、不同方向的人看到，不被石沉大海，或许还能增加不少引用的呦~ 投稿加下面微信备注“投稿”即可。

最近文章

EMNLP 2022 和 COLING 2022，投哪个会议比较好？

一种全新易用的基于Word-Word关系的NER统一模型

阿里+北大 | 在梯度上做简单mask竟有如此的神奇效果

ACL'22 | 快手+中科院提出一种数据增强方法：Text Smoothing

阿里+中科院提出：将角度margin引入到对比学习目标函数中并建模句子间不同相似程度

中文小样本NER模型方法总结和实战

下载一：中文版！学习TensorFlow、PyTorch、机器学习、深度学习和数据结构五件套！  后台回复【五件套】
下载二：南大模式识别PPT  后台回复【南大模式识别】

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

整理不易，还望给个在看！