专栏首页人工智能前沿讲习SFFAI分享 | 纪厚业:Heterogeneous Graph Attention Network【附PPT与视频资料】

SFFAI分享 | 纪厚业:Heterogeneous Graph Attention Network【附PPT与视频资料】

关注文章公众号 回复"SFFAI27"获取PPT资料 视频资料可点击下方阅读原文在线观看

作者介绍


纪厚业,北京邮电大学计算机科学与技术专业博士研究生。研究兴趣包括异质图分析,网络表示学习,图神经网络等。

相关论文及代码整理在https://github.com/Jhy1993

纪厚业

导读


图神经网络是近年来图数据挖掘领域的热门研究方向之一,被誉为是新一代深度学习。图神经网络可以将端到端学习与归纳推理相结合,有望解决深度学习无法进行关系推理的问题。以Graph Convolutional Network,Graph Attention Network为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而,目前的图神经网络主要针对同质图(节点类型和边类型单一)设计,但真实世界中的图大部分都可以被自然地建模为异质图(多种类型的节点和边)。如何设计可以处理真实世界图数据的异质图神经网络是一个迫切需要解决的问题。

本次分享将介绍我们在异质图神经网络上的最新工作 Heterogeneous Graph Attention Network(HAN)。我们围绕异质图数据中一些基础性结构(多种类型的节点/边和元路径结构),分别设计了节点级别注意力和语义级别注意力来实现对节点全面且细致的表示:

  1. Node-Level Attention可以学习元路径邻居的重要性并通过聚合操作得到节点表示。
  2. Semantic-Level Attention 可以针对不同任务来学习语义信息的重要性并对语义进行融合。

具体内容介绍


1、首先介绍了常见的图神经网络架构并将其划分为同质图神经网络和异质图神经网络两大类。如18ICLR的Graph Attention Network(GAT)和分享者提出的HAN。GAT的模型架构如下。

2、然后分析介绍了现有GCN的局限性,即:过平滑问题。过平滑问题是指随着模型层数的加深,所学习到的节点表示变得没有区分度。如下图所示:

针对上述问题,已经有很多工作对其进行了理论分析并提出了解法。这里分享者将其划分为两大类:Fuse different order representations explicitly(E.g., 18ICML_JK-Net, 19ICML_MixHop)和Emphasize the low-order information via random-walk(E.g., 19ICLR_PPNP)。

3、最后,分享者介绍其发表在WWW19上的最新工作Heterogeneous Graph Attention Network。相对于现有的工作,HAN最大的特点是可以处理多种不同类型的节点/边并能够融合丰富的语义信息。

模型整体架构如图 2 所示。模型主要分为 3 个模块:

1)节点级别注意力模块。

2)语义级别注意力模块。

3)预测模块。

节点级别注意力:给定某条元路径,我们可以利用节点级别注意力来学习节点的重要性并通过加权平均得到特定语义下的节点表示。

其中,

是节点对(i,j)在元路径

下的注意力权重。

其中,

是节点在某条元路径下的表示。

语义级别注意力:给定元路径集合,语义级别注意力可以学习不同语义的重要性并加权平均得到较为全面的节点表示。

其中

是各个元路径的注意力权重。然后,我们通过加权混合来得到最终的节点表示

最后,我们基于半监督的分类loss来优化整个模型。

节点级别和语义级别的聚合过程如下图所示。

总结


异质图在真实世界无处不在,异质图的分析也是数据挖掘的热门方向。作者设计了一种异质图神经网络,同时在节点和语义级别利用注意力机制来对邻居信息和语义信息进行加权融合,进而学习到更加细致全面的节点表示。同时,通过对两层的注意力机制进行分析,所提模型具有较好的可解释性。

Take-home-message


  1. Meta-path是否必要?能不能脱离meta-path做异质图神经网络?
  2. 异质图神经网络的理论分析。
  3. 基于异质图神经网络的应用。

参考文献


[1] Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks.

[2] Petar Veliˇckovi´c, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Li`o, and Yoshua Bengio. 2018. Graph Attention Networks.

[3] Johannes Klicpera, Aleksandar Bojchevski, and Stephan G¨unnemann. Predict then Propagate Graph Neural Networks meet Personalized PageRank.

[4] Xiao, Wang and Houye, Ji and Chuan, Shi and Bai, Wang and Peng, Cui and P. , Yu and Yanfang, Ye. Heterogeneous Graph Attention Network.

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Mars说光场(3)— 光场采集

    沉浸感按:光场技术是目前最受追捧的下一代显示技术,谷歌、Facebook、Magic Leap等国内外大公司都在大力布局。然而目前国内对光场(Light Fie...

    马上科普尚尚
  • 精选论文 | 图深度学习【附打包下载】

    近年来,针对深度神经网络存在的局限性,用于处理非欧式空间数据、刻画变量间复杂关系的图深度学习成为新一轮的研究热潮。6月16日(周日),《SFFAI 33-图深度...

    马上科普尚尚
  • AI资源专栏 | 深度学习实践手册:解析卷积神经网络(附PDF)

    《解析卷积神经网络——深度学习实践手册》,是一本面向中文读者轻量级、偏实用的深度学习工具书,内容侧重深度卷积神经网络的基础知识和实践应用。本书的受众为对卷积神经...

    马上科普尚尚
  • 十年机器学习结果不可靠?伯克利MIT研究质疑了30个经典模型

    新智元
  • 11 个Javascript机器学习库

    Brain.js是一个Javascript库,用于替代(现在已弃用的)“ 脑 ”库的神经网络,该库可与Node.js一起使用或在浏览器中使用(注释计算),并为不...

    IT派
  • 微信公众平台原创声明功能公测 自媒体原创保护的福音

      昨日晚间微信团队发布微信公众平台面向认证的媒体类型公众号公测原创声明功能的公告,势在维护作者权益,鼓励优质内容产生。心灵鸡汤、养生贴想必你已经厌倦了,甚至都...

    ytkah
  • python网络-TFTP客户端开发(25)

    TFTP(Trivial File Transfer Protocol,简单文件传输协议)

    Se7eN_HOU
  • JVM 《七 JVM 角度看对象》

    作为一个Java 程序员,天天与我们交互的除了逻辑就是对象了,我们可以自己new一个,也可以注入一个,得到对象的方法儿有很多。

    邹志全
  • 流式布局解决方案

    在真实项目中设计师给我们一般是:640960 6401136 750*1334 响应式布局的解决方案: 1>流式布局法 容器或者是盒子一般都不写...

    河湾欢儿
  • List列表按照对象进行排序

    在某些业务场景下需要根据list列表中对象的字段进行排序。今天就以实例说明: 实体类 public class Product { private in...

    用户1161110

扫码关注云+社区

领取腾讯云代金券