双曲空间中的细粒度实体标注

paper：Fine-Grained Entity Typingin Hyperbolic Space

code：https://github.com/nlpAThits/figet-hyperbolic-space

摘要：

我们如何表示出存在于大量实体标注的层次信息？我们研究了双曲嵌入来捕捉上下文所提及的实体和标注目标，在一个共享的向量空间中。我们在两个数据集上验证，并研究了两种不同的技术，对于创建大规模层次结构的实体标注：专家生成和自动挖掘共现实体类型。我们发现双曲模型对比欧式空间模型有些压制优势，但并非所有情况都如此。我们的分析表明，适当的双曲几何学依赖于实体标注的粒度和层次关系推断的方式。

介绍：

实体标注可以分为粗分类和精细分类，后者的业界需求广泛，比如关系抽取和问答系统。随着对极致的追求，有时候需要进行上千中类别判断。然而这种大规模数据集提出了一个挑战，对于传统的将实体标注转化为多标签分类任务。因为利用内部相关性变得很困难了，随着类型数量的增加。

一个天然的解决该问题的方法是将大规模实体标注组织为层次结构，例如：大类“人”排在 最顶层，具体点的“政客”一词排在中间，进一步明确些，“外交官”一词在最底层（图如下所示）。凭借这种层级关系，一个模型在学习了外交官知识以后，将能够转移这个知识给相关实体，例如“政客”。

先前的工作整合了层次性的实体标注信息，通过构造hierarchy-aware损失函数，或者将单词和实体类型表征到同一个欧式嵌入空间。注意：我们无法将任意的层次信息嵌入到某个欧式空间，而双曲空间能够准确编码层次信息。直觉上这是因为双曲空间中的距离呈现出指数增加，恰好类似于层次结构（其实就是层级树）随着深度增加叶子节点成指数增加。

虽然直觉上双曲模型的天然优势很完美，但其对应于下游任务的意义和价值，到目前为止并不是很清晰。我们相信这源于两个原因：1.将双曲空间嵌入信息合并到神经模型是意义不大的，因为训练涉及到在双曲空间的优化；2.通常我们所处理的NLP任务不太容易是非常好的层次结构。

本论文着重解决上述两个问题。使用最细粒度的实体标注，我们首先展示如何合并双曲嵌入和神经模型；然后检测了层次结构的影响，对比于expert-generated层次嵌入的存在论。总结，我们做出的贡献如下：

1.我们开发了一个细粒度实体标注模型，其嵌入了实体和类型到同一个双曲空间。

2.我们对比了两个不同的实体标注层次结构，一个创建于专家experts(WordNet)，另一个自动生成；由此发现他们的有效性依赖于数据集。

3.我们研究了用双曲空间替代欧式空间，发现双曲模型在最细粒度标注上有显著优势。

下面介绍一个二维双曲空间距离公式：

解析：x,y的路径path通过原点聚拢。这个性质能被认为是连续的类似物转换成离散的层级树结构，其“亲属关系”最短路径来自上面同一个“祖先”。

更正式地说，这意味着嵌入规范表示层次结构中的深度，以及嵌入各个项目的相似性之间的距离。

上图解析：

重点关注右侧双曲空间，我们发现实体分布更趋近disk边界，在这个区域中距离成指数增长，这样使得不相关的实体距离尽可能远。

上图解析：双曲模型整体架构图。

试验结果：

上图是不同层级和空间上的测试集结果。我们模型的最佳结果标粗。

上图是验证数据集量化分析结果。双曲模型的预测结果生成，蓝色为正确的结果。