WWW 2022 | 可扩展的图随机神经网络

本文约900字，建议阅读5分钟本文提出了一个用于半监督学习的可扩展高性能 GNN 框架。

论文标题：GRAND+: Scalable Graph Random Neural Networks

收录来源：WWW 2022

论文来源：https://arxiv.org/pdf/2203.06389.pdf

论文介绍

近期的工作认为图随机神经网络具有很好的性能，但是难以用在大型图上。本文提出了一个广义的前推算法，预先计算传播矩阵，并使用它以小批量方式执行图数据扩充，最后使用一个自信感知的一致性损失来优化模型。

论文方法

令 表示一个图， 表示一个数据样本，表示边的集合，表示邻接矩阵，D 表示度矩阵， 表示加了自环的图， 和  是对应的邻接矩阵和度矩阵。每个样本 s 有一个特征向量 和标签 。在半监督学习中，只有一部分节点有标签 ，其他节点没有标签 。

图随机神经网络是图神经网络的一致性正则化框架，优化不同增强中未标记节点的预测一致性，通过随机传播来增强数据。首先对特征矩阵进行扰动，之后通过混合顺序的矩阵在图上传播。图随机神经网络使用平均池化的矩阵来传播：

随机传播的策略可以表示为：

表示从 Bernoulli  分布中得到的随机丢弃节点的 mask， 表示丢弃节点的概率。被丢弃的节点信息可以由邻居的信息来弥补。在训练的过程中，随机传播的过程重复 M 次，得到 M 个增强后的矩阵 。之后这些矩阵送入 MLP 得到 M 个预测值，使用标准的分类损失和一致性损失正则化项来训练。

是 MLP 为节点 s 预测的概率。

然而，在实践中， 的计算非常耗时，图随机神经网络使用幂迭代直接计算增强后的特征矩阵。但是在每一次训练的过程中，都需要重复 M 次来产生不同的特征矩阵，因此时间复杂度非常高。为了解决这一问题，本文预先计算传播矩阵所需的行向量，并以小批量方式执行随机传播，来代替之前的幂迭代。本文的传播矩阵为：

其中，， 是行正则化的邻接矩阵。为了实现快速的训练，节点 s 的特征向量计算方式为：

 表示  中，节点 s 对应的行向量。 表示  中非 0 元素的索引。在训练时，只需要为一批节点生成增强特征。

本文的训练过程分为三个部分。首先使用本文提出的 GFPush 算法得到每个节点的稀疏化的行

用于支持随机传播。在每一个训练的步骤中，采样出一批节点，用近似的行向量为每个节点生成多个增强特征。将增强后的特征送入 MLP 得到预测值，通过最小化损失来优化模型。

实验结果

作者在多个数据集上进行了节点分类任务：

为了验证可扩展性，作者在多个大型数据集上进行了实验：

对于模型中的参数，作者也进行了分析：

总结

本文提出了一个用于半监督学习的可扩展高性能 GNN 框架，通过广义前推来计算特征传播的矩阵，同时使用自信感知的一致性损失来实现一致性训练。与现有的方法相比取得了很好的效果。

来源：PaperWeekly

编辑：于腾凯