北大@KDD | GAT v.s. MLP?

作者| 刘 旋

审核 | 李梦露

分享一篇北京大学崔斌教授团队发表在KDD 2022上关于图神经网络的文章:《Graph Attention Multi-Layer Perceptron》。图神经网络GNN在许多基于图的应用中取得了巨大成功。然而，大规模图的高稀疏性阻碍了它们在工业场景中的应用。虽然针对大规模图提出了一些可扩展的GNN，但它们对每个节点采用固定的𝐾-hop邻域，导致GNN模型在训练过程中对实际感知域不敏感，因此在稀疏区域内对节点采用大传播深度时,会面临过平滑问题。为了解决上述问题，作者提出了一种新的GNN架构-图注意多层感知器(GAMLP)，它可以捕捉图知识的不同尺度之间的潜在相关性。GAMLP 符合解耦 GNN 的特点，特征传播的计算与神经网络的训练分离，保证了GAMLP的可扩展性。通过在14个图数据集上的大量对比实验，表明了GAMLP在具有高可扩展性和高效率的同时，还实现了最优的性能。

1 前言

通过叠加多层的gnn，可以利用高阶邻居的信息学习节点表示。由于计算和通信成本高，大多数gnn难以扩展到大规模工业图。而Simplified GCN（SGC ）将特征传播和非线性变换过程解耦。SGC只有训练集的节点参与到模型训练中且在模型训练过程中不需要获取相邻节点的特征。因此，SGC 在单台机器上的计算和内存效率很高，而且在分布式环境中可以扩展。尽管具有可扩展性，SGC采用了固定的特征传播层，导致所有节点的 Receptive Field（RF）固定。这样的特征传播方式缺乏灵活性，无法对不同 RF 下的关联节点进行建模，会产生两种结果：（1）长距离的依赖性由于 RF 过小而不能被充分利用；（2）由于RF过大而引入过平滑的噪声而失去了局部信息。为了更好地利用GNN中层与层之间不同RF下的特征信息，提出了很多改进方法。但他们都采用了分层传播的机制，没有考虑节点上的特征组合。如下图所示，不同节点需要不同的感知域以达到最佳的表现。

由此，作者提出了以节点自适应方式，来显式学习多尺度知识的重要性和相关性，开发了一种图形注意力多层感知器（GAMLP）。它可以在节点的粒度上自动利用不同邻域的知识。GAMLP主要引入两种新颖的注意力机制来实现这一点：递归注意力和跳跃知识注意力。这两种注意机制可以以节点自适应的方式捕获在不同传播深度处传播的信息之间的复杂相关性。因此，DGMLP具有与现有的简化和可扩展GNN模型相同的优点，同时由于其利用节点自适应RF的能力而提供了更好的性能。

2 模型

GAMLP将端到端GNN训练分解为三个部分:特征和标签传播、与RF注意的特征和标签组合以及MLP训练。由于特征和标签传播只进行了一次预处理，可以轻松地将GAMLP扩展到大型图。

2.1 节点和标签特征的传播

作者通过去除神经网络Θ和非线性激活𝛿来分离gnn的特征传播。构建了一个无参数的𝐾-step特征传播:

其中X(𝑘)包含固定RF的特征:节点本身及其𝑘-hop邻域。经过的特征传播之后，可以得到一系列特征传播的输出结果：

， 然后使用注意力机制实现每层的加权平均得到输出：

然后，作者使用一种可扩展的方法来利用训练集的节点标签。利用如下标签传播的方式，得到输出结果

：

与节点类似，使用注意力机制实现每层的加权平均得到输出：

度量节点i在𝑘-step传播特性的重要性。

2.2 节点自适应注意机制

为了满足每个节点不同的射频需求，作者引入了两种射频注意机制，得到上述传播过程中的权重W𝑖(𝑘)。(1)RecursiveAttention递归注意力(2)JK Attention跳跃注意力。定义如下：（1）RecursiveAttention。在每个传播步骤中𝑙，设𝑠∈R𝑑是一个可学习的参数向量，我们递归度量特征信息增益与之前的组合特征相比为:

这里较大wi(l)意味特Xi(l)对vi 的当前状态更为重要（相较于前层组合特征占比更高）.

（2）JK-Net 采用层聚合的方式将不同 GCN 层的节点嵌入结合，JK-Net 可以利用不同 RF 所获得的特征信息。基于此，提出利用在所有传播特征上训练的模型预测来指导特征组合过程：

其中JK分支旨在为每个节点创建多尺度特征表示，这有助于注意机制学习权重𝑤𝑖(𝑘)。

2.3 模型训练

最后将组合特征HX和标签HY都送入一个MLP，得到如下最终的输出嵌入，并利用交叉损失作为loss函数。

3 结果

首先作者比较了GAMLP和代表性的可扩展GNN方法时间和空间复杂度，发现GAMLP理论上更优。

此外。作者验证了GAMLP在14个真实世界的图数据集上的有效性(1)换向和归纳设置;(2)齐次图和异构图。作者所提出的模型在各项任务中均展现出良好的性能。

作者还提供了GAMLP在中国最大的社交媒体集团腾讯的实施和部署。

文章地址

https://arxiv.org/abs/2206.04355

代码地址

https://github.com/PKU-DAIR/GAMLP