[IJCAI | 论文简读] 作为知识嵌入的语言模型

简读分享 | 乔剑博 编辑 | 李仲深

论文题目

Language Models as Knowledge Embeddings

论文摘要

知识嵌入 (KE) 通过将实体和关系嵌入到连续向量空间中来表示知识图 (KG)。现有的方法主要是基于结构或基于描述的。基于结构的方法学习保留 KG 固有结构的表示。它们不能很好地代表结构信息有限的现实世界 KG 中丰富的长尾实体。基于描述的方法利用文本信息和语言模型。在这个方向上的先前方法几乎没有优于基于结构的方法，并且受到诸如昂贵的负采样和限制性描述需求等问题的困扰。在本文中，作者提出了LMKE，它采用语言模型来导出知识嵌入，旨在丰富长尾实体的表示并解决先前基于描述的方法的问题。作者使用对比学习框架制定基于描述的 KE 学习，以提高培训和评估的效率。实验结果表明，LMKE 在链接预测和三重分类的 KE 基准上实现了最先进的性能，尤其是对于长尾实体。

论文链接

https://www.ijcai.org/proceedings/2022/0318.pdf