专栏首页专知【论文读书笔记】重新考虑用简单神经网络进行知识表示学习(附代码)

【论文读书笔记】重新考虑用简单神经网络进行知识表示学习(附代码)

【导读】随着知识图谱越来越火,知识图谱的表示渐渐成为研究重点,目前已经有 TransE,TranH,ComplEX 等一系列的方法,这些方法在标准数据集中都取得了较好的结果,但在其他数据集上结果不是很理想。这篇文章提出一个基于简单神经网络的知识表示模型,在众多数据集中均取得了较好的结果。

论文链接:https://arxiv.org/abs/1711.05401

论文代码:

https://github.com/Srinivas-R/AKBC-2017-Paper-14

▌摘要:



我们解决了知识库补充和知识图谱中学习实体和关系向量表示问题。这个问题近几年来受到了很大的关注,并且许多方法被提出了,文献中大部分的方法是用预定义的特征评分函数来评估KG三元组的正确性。评分函数将正确的三元组(高分)与不正确的三元组(低分)区分开来分数,但是他们的表现在不同的数据集中有所不同。在我们的工作中,我们证明一个简单的基于神经网络的评分函数,这个方法能在众多数据集中取得最好的效果。我们也指出了标准数据集的缺陷,这就需要我们在不同数据集上进行实验评估。

▌介绍:



知识图谱例如NELL和Freebase是用多关系图谱来进行存储信息,被广泛应用于信息提取,问题等领域。知识图谱包含关系三元组(h,r,t)形式的世界知识,其中r用来描述h和t的关系。例如(唐纳德·特朗普,总统,美国)将表明唐纳德·特朗普是美国总统的事实。目前的知识图谱包含相当大的,数以百万计的事实,他们往往是相当稀疏。为了克服稀疏性,知识库完成或链接预测被执行来推断缺少的事实。用低维向量来表示实体和关系,也被称为嵌入,已被广泛用于这个问题。大部分采用的方法是用评分函数来区分正确三元组(高分)和错误的三元组(低分)。一些方法和其评分函数在表1总结

WN18和FB15是两个标准数据集来进行知识图谱的关系预测,先前的研究已经展示这两个数据集有着反关系偏差。这些数据集的性能在很大程度上取决于模型的预测反关系的能力,并且是以牺牲其他独立关系为代价。事实上,一个简单的基于规则的模型显示出利用这种偏见已经在这两个数据集中实现了最好的性能。为了克服这种缺点,一些数据集的变体在文献中已经被提出,例如FB15k-237,WN18RR,FB13和WN11。

ComplEx 和HolE 是目前两种流行的KG嵌入技术,它们在WN 18和FB 15k数据集有着最好的效果。然而ComplEx和HolE在其他数据集上效果并没有那么好,所以ComplEx和HolE中的预定义评分函数可能不是实现的最佳选择。所以,本文更倾向于一个在所有模型上取得接近最佳效果的模型。

在这篇文章中,作者论证了一个基于简单神经网络的评分函数,该模型能够在不同的数据集上取得近最佳的表现。这篇文章的主要贡献如下:

  • 本文定性论证了目前的标准数据集反关系偏差问题的严重性。
  • 本文展示了目前最好的方法没有在所有的数据集上取得同样好的效果。
  • 本文验证了ER-MLP,一个基于简单神经网络的评分函数,能够在不同的数据集上取得近最佳的表现,也考虑了其变体ER-MLP-2d。

代码可以在这里找到:https://github.com/Srinivas-R/AKBC-2017-Paper-14

▌模型介绍:



本文用一个神经网络来共同学习评分函数和三元组的向量表示,采用一个简单的只有一个隐藏层的前馈神经网络来作为给定三元组的评分函数的近似器。上图中左边为ER-MLP模型,右边为ER-MLP-2d模型,h,t为分别为h,t的d维向量表示,类似的,r也为r的向量表示,在ER-MLP为d维,ER-MLP-2d为2d维。在ER-MLP中,头,尾,关系表示连接在一起然后作为NN的输入,所以输入层的维度为3d。在ER-MLP-2d中,头,尾的表示连接在一起,然后和关系表示组合在一起,所以在EP-MLP-2d中,输入层的维度为2d。这两个模型都有一个全连接隐藏层,然后给输出节点,作为给定(h,r,t)的评分函数。

三元组的评分函数如下所示:

其中g()是激活函数,[a,b]为向量a,b的连接,M和A分别为隐藏层和输出层的权重矩阵,b是偏置。本文考虑sigmoid函数,

是这个三元组正确的概率,1表示该三元组正确,0表示该三元组错误,

正确和错误三元组的集合,y∈{1,0},本文优化下述交叉熵损失函数:

▌实验结果:



上表为关于实体预测方面不同方法在不同数据集的表现,从中可以看出基于神经网络的模型在WN11.FB13和FB15K-237有着做好的表现,并且在WN18上有着很大的竞争力,ComplEX和HolE在WN18RR比神经模型表现的更好。

▌结论



在本文中,作者提出了一个简单的基于神经网络的知识表示方法,并且在不同数据集上均取得了较好的效果,甚至在一些数据集中有目前为止最好的表现。

本文分享自微信公众号 - 专知(Quan_Zhuanzhi),作者:专知内容组(编)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-02-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【AlphaGo Zero 核心技术-深度强化学习教程笔记06】价值函数的近似表示

    点击上方“专知”关注获取更多AI知识! 【导读】Google DeepMind在Nature上发表最新论文,介绍了迄今最强最新的版本AlphaGo Zero,不...

    WZEARW
  • 【论文分享】中科院自动化所多媒体计算与图形学团队NIPS 2017论文提出平均Top-K损失函数,专注于解决复杂样本

    【导读】损失函数的设计一直是机器学习和模式识别中的核心问题。目前中国科学院自动化研究所和美国纽约州立大学奥尔巴尼分校合作提出了一种新的聚合损失函数,即平均 ? ...

    WZEARW
  • 深入广义线性模型:分类和回归

    【导读】本文来自AI科学家Semih Akbayrak的一篇博文,文章主要讨论了广义的线性模型,包括:监督学习中的分类和回归两类问题。虽然关于该类问题的介绍文章...

    WZEARW
  • 从Sine到Heun:Wolfram语言中5个数学和物理学领域的新函数

    我们最开始的想法是要把Mathematica建立成为一个可以解决所有从学校层面的代数方程到在现实的科学研究中的复杂问题的不同的数学问题。在过去30年的发展中,我...

    WolframChina
  • Python基础面试,看这篇文章画重点吧

    一直想写一些更加基础的文章,但是总是想不到好的点子,最近到了就业季,一大堆学生面临就业了,正好,从Python的面试题出发,分析和解答一些常见的面试题,并且总结...

    py3study
  • Python 函数

    Python的函数与其他语言的函数概念上是一致的,只是形式上有所不同。在面向过程的编程语言中(C语言),函数是代码的基本组成形式,是功能的基本模块;在面向...

    Steve Wang
  • JavaScript基础学习--07函数的传参、重用、价格计算

    Demos:   https://github.com/jiangheyan/JavaScriptBase 一、函数传参      1、参数=js数据类型  ...

    用户1148399
  • 常见面试算法:Logistic回归、树回归

    Logistic 回归 或者叫逻辑回归 虽然名字有回归,但是它是用来做分类的。其主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立...

    机器学习AI算法工程
  • macOS包管理工具Homebrew

    Homebrew 是 macOS 下的包管理工具,类似于 centos 下的 yum,ubuntu下的apt 可以很方便地进行安装/卸载/更新各种软件包,bre...

    羊羽shine
  • 星图数据CEO谷熠:与场景结合是大数据公司的立根之本

    在诸多消费者买买买的同时,海量的购买交易数据也正在生成,这些数据不仅能够反映出消费者在网上购物的喜好,还能为供货商的产品策略提供强有力的依据,将这些数据进行采集...

    BestSDK

扫码关注云+社区

领取腾讯云代金券