今天给大家介绍斯坦福大学Jure课题组发表在NIPS2020上的一项最新工作。先前的研究表明,图神经网络(Graph Neural Networks,GNN)可以有效地融合图的结构特征和节点特征,但很容易受到对抗攻击。为此,作者提出了一种信息理论原理-图信息瓶颈(Graph Information Bottleneck ,GIB),最佳地平衡了图结构数据表示的表现力和健壮性。作者还设计了两种用于结构正则化的采样算法,并使用两种新模型(GIB-Cat和GIB-Bern)实例化了GIB原理。实验表明,基于GIB的模型比最新的图防御模型更稳定,效果更好。
1
介绍
图表示学习旨在学习用于下游任务的图结构数据的表示。通过学习融合来自节点特征和图结构的信息,GNN在许多任务上表现出优秀的性能。但是到目前为止,GNN仍然存在一些问题,例如,邻居节点的特征可能包含无用的信息,可能会对当前节点的预测产生负面影响。另外,GNN依赖通过图的边来传递消息,这也使其容易受到针对图结构的干扰和对抗攻击。
信息瓶颈(Information Bottleneck,IB)为表示学习提供了关键原则:最佳表示应包含用于下游预测任务的最少且充足的信息。具体来说,IB鼓励数据表示应该最大限度地提供与目标相关的信息,也阻止从数据中获取与预测目标无关的其他信息。基于这种学习范式,学习到的模型可以避免过度拟合,并变得更加强大,能够抵抗对抗攻击。但是,将IB原理扩展到基于图结构化数据的表示学习面临着两个挑战:1.IB的模型假设数据集中的训练示例是独立的并且分布均匀,对于图结构数据难以按照IB原理进行模型训练。2.结构信息对于表示图结构数据是必不可少的,但是这种信息是离散的,因此很难对其进行优化。
为此,作者提出了图信息瓶颈(GIB),这是一种从IB继承的信息论原理,适用于图结构数据的表示学习。GIB从图结构和节点特征中提取信息,并鼓励学习到的表示形式仅包含最少的足够信息。作者还推导了GIB的变分界线,使GIB易于处理并且适合GNN的设计和优化,并通过图注意力网络(Graph Attention Networks,GAT)来证明其原理。作者基于分类分布和伯努利分布设计了两种采样算法,并提出了两种模型GIB-Cat和GIB-Bern。实验证明这两种模型都能持续提高稳健性,在对抗性扰动下,GIB-Cat和GIB-Bern分别将分类精度提高了31.3%和34.0%。
2
方法
推导图信息瓶颈原理
图信息瓶颈(GIB)原理继承了信息瓶颈(IB)原理,它要求节点表示应该将图结构数据中的信息最小化,并把用于预测的信息最大化。
但是,由于数据点之间的相关性,最通用的GIB的优化面临挑战。作者依赖于图结构化数据的局部依赖性假设:给定节点v的特定跳数内的邻居数据,其余的数据将独立于v。作者使用此假设来约束最佳表示的空间,使得GIB原理更容易被处理,最佳表示遵循下图所示的马尔可夫依赖关系。
具体来说,P(ZX | D)迭代节点表示以对关联进行分层建模。在每个迭代l中,使用局部依赖假设:每个节点的表示将通过合并与图结构Z有关的邻居来完善,Z是通过局部调整原始图结构A并从本质上控制A的信息流来获得的,最后将基于Z进行预测。
在传统的IB原理下,变分方法经常用于模型优化。由于数据点现在是相关的,作者提出了变分上下界并谨慎推导这些界限。
GIB方法实例 GIB原理可以应用于许多GNN模型,作者将其应用于图注意力网络模型,并提出了GIB-Cat和GIB-Bern。算法1说明了两个模型的基本框架,算法2和3中显示了不同的邻居采样方法。具体而言,作者设计了两种用于邻居采样的算法,分别使用类别分布和伯努利分布。对于类别分布版本,作者将注意力权重视为类别分布的参数,以对精炼图形结构进行采样来提取结构信息,对于伯努利分布版本,作者使用注意力权重参数化的伯努利分布对每一对节点v和其邻居进行独立建模。与传统的GNN不同,GIB-Cat和GIB-Bern宽松地依赖于图结构,因为图结构仅用于确定每个节点的潜在邻居,并且基于图结构表示执行消息传递,因此GIB模型对传统GNN敏感的结构扰动/攻击保持良好的鲁棒性。
3
实验
实验目的是测试以GIB目标训练的GNN是否更健壮和可靠。具体来说,作者考虑以下两个问题:(1)在GIB的推动下,GIB-Cat和GIB-Bern是否比GAT拥有更强大的表示法来防御攻击?(2)GIB的每个组件如何对这种鲁棒性做出贡献,特别是如何从结构和节点特征控制信息?
作者将GIB-Cat和GIB-Bern与包括GCN 和GAT 在内的基线进行比较,此外,还考虑了专门针对对抗攻击而设计的两种最先进的图形防御模型:GCNJaccard ,RGCN。在评估中,作者使用了三个引用基准数据集:Cora,Pubmed和Citeseer ,下表中显示了数据集的摘要统计信息及其拆分。对于所有实验,作者在5个随机初始化上进行实验,并报告平均性能,使用F1-micro作为验证指标来训练模型。
比较了不同模型对对抗攻击的鲁棒性
作者使用一种强大的针对性攻击技术Nettack ,可以通过翻转边缘或节点特征攻击节点,并在evasive 和 poisoning设置下评估模型,即攻击分别在训练模型之后或之前发生。作者遵循Nettack 的设置选择40个目标节点,对于每个目标节点,训练不同的评估模型。作者报告了这40个目标节点的分类准确性,并列举了从1到4的扰动数,其中每个扰动表示节点特征的翻转或边的添加或删除。表1结果显示,与GAT相比,GIB-Cat和GIB-Bern在二个数据集上的分类准确度都得到了很大提升。表2结果显示,GIB的不同组成部分对结果的影响不同,其中AIB(结构)对改善GIB-Cat和GIB-Bern做出了重大贡献。
仅特征攻击
为了进一步检查IB对节点特征的有效性,作者将随机扰动注入到节点特征中。具体来说,在训练模型之后,为所有节点的每个节点特征维度都添加独立的高斯噪声。下表结果表明,在不同的特征噪声比上,GIB-Cat和GIB-Bern都始终优于其他没有IB的模型,这表明当特征攻击成为干扰的主要来源时,GIB使模型变得更加健壮。
4
总结
在这项工作中,作者根据IB引入了一种信息论原理——图信息瓶颈(GIB),该理论用于学习图结构化数据中最少且充足的信息表示形式。此外,作者在此基础上提出了二种实例化模型:GIB-Cat和GIB-Bern,并通过相关实验证明了GIB的有效性和健壮性。
代码
https://github.com/snap-stanford/gib
参考资料
论文链接: https://arxiv.org/pdf/2010.12811.pdf