SFFAI分享 | 纪厚业：Heterogeneous Graph Attention Network【附PPT与视频资料】

关注文章公众号 回复"SFFAI27"获取PPT资料 视频资料可点击下方阅读原文在线观看

作者介绍

纪厚业，北京邮电大学计算机科学与技术专业博士研究生。研究兴趣包括异质图分析，网络表示学习，图神经网络等。

相关论文及代码整理在https://github.com/Jhy1993

纪厚业

导读

图神经网络是近年来图数据挖掘领域的热门研究方向之一，被誉为是新一代深度学习。图神经网络可以将端到端学习与归纳推理相结合，有望解决深度学习无法进行关系推理的问题。以Graph Convolutional Network，Graph Attention Network为代表的图神经网络已经引起了学术界与工业界的广泛关注。然而，目前的图神经网络主要针对同质图（节点类型和边类型单一）设计，但真实世界中的图大部分都可以被自然地建模为异质图（多种类型的节点和边）。如何设计可以处理真实世界图数据的异质图神经网络是一个迫切需要解决的问题。

本次分享将介绍我们在异质图神经网络上的最新工作 Heterogeneous Graph Attention Network（HAN）。我们围绕异质图数据中一些基础性结构（多种类型的节点/边和元路径结构），分别设计了节点级别注意力和语义级别注意力来实现对节点全面且细致的表示：

1. Node-Level Attention可以学习元路径邻居的重要性并通过聚合操作得到节点表示。
2. Semantic-Level Attention 可以针对不同任务来学习语义信息的重要性并对语义进行融合。

具体内容介绍

1、首先介绍了常见的图神经网络架构并将其划分为同质图神经网络和异质图神经网络两大类。如18ICLR的Graph Attention Network（GAT）和分享者提出的HAN。GAT的模型架构如下。

2、然后分析介绍了现有GCN的局限性，即：过平滑问题。过平滑问题是指随着模型层数的加深，所学习到的节点表示变得没有区分度。如下图所示：

针对上述问题，已经有很多工作对其进行了理论分析并提出了解法。这里分享者将其划分为两大类：Fuse different order representations explicitly（E.g., 18ICML_JK-Net, 19ICML_MixHop）和Emphasize the low-order information via random-walk（E.g., 19ICLR_PPNP）。

3、最后，分享者介绍其发表在WWW19上的最新工作Heterogeneous Graph Attention Network。相对于现有的工作，HAN最大的特点是可以处理多种不同类型的节点/边并能够融合丰富的语义信息。

模型整体架构如图 2 所示。模型主要分为 3 个模块：

1）节点级别注意力模块。

2）语义级别注意力模块。

3）预测模块。

节点级别注意力：给定某条元路径，我们可以利用节点级别注意力来学习节点的重要性并通过加权平均得到特定语义下的节点表示。

其中，

是节点对（i，j）在元路径

下的注意力权重。

其中，

是节点在某条元路径下的表示。

语义级别注意力：给定元路径集合，语义级别注意力可以学习不同语义的重要性并加权平均得到较为全面的节点表示。

其中

是各个元路径的注意力权重。然后，我们通过加权混合来得到最终的节点表示

。

最后，我们基于半监督的分类loss来优化整个模型。

节点级别和语义级别的聚合过程如下图所示。

总结

异质图在真实世界无处不在，异质图的分析也是数据挖掘的热门方向。作者设计了一种异质图神经网络，同时在节点和语义级别利用注意力机制来对邻居信息和语义信息进行加权融合，进而学习到更加细致全面的节点表示。同时，通过对两层的注意力机制进行分析，所提模型具有较好的可解释性。

Take-home-message

1. Meta-path是否必要？能不能脱离meta-path做异质图神经网络？
2. 异质图神经网络的理论分析。
3. 基于异质图神经网络的应用。

参考文献

[1] Thomas N. Kipf and Max Welling. Semi-Supervised Classification with Graph Convolutional Networks.

[2] Petar Veliˇckovi´c, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Li`o, and Yoshua Bengio. 2018. Graph Attention Networks.

[3] Johannes Klicpera, Aleksandar Bojchevski, and Stephan G¨unnemann. Predict then Propagate Graph Neural Networks meet Personalized PageRank.

[4] Xiao, Wang and Houye, Ji and Chuan, Shi and Bai, Wang and Peng, Cui and P. , Yu and Yanfang, Ye. Heterogeneous Graph Attention Network.