NIPS | GIB：图信息瓶颈理论定义“优秀”图表示

DrugAI

修改于 2021-02-02 11:24:51

2.1K0

修改于 2021-02-02 11:24:51

文章被收录于专栏：DrugAI

今天给大家介绍斯坦福大学Jure课题组发表在NIPS2020上的一项最新工作。先前的研究表明，图神经网络（Graph Neural Networks，GNN）可以有效地融合图的结构特征和节点特征，但很容易受到对抗攻击。为此，作者提出了一种信息理论原理-图信息瓶颈（Graph Information Bottleneck ，GIB），最佳地平衡了图结构数据表示的表现力和健壮性。作者还设计了两种用于结构正则化的采样算法，并使用两种新模型（GIB-Cat和GIB-Bern）实例化了GIB原理。实验表明，基于GIB的模型比最新的图防御模型更稳定，效果更好。

介绍

图表示学习旨在学习用于下游任务的图结构数据的表示。通过学习融合来自节点特征和图结构的信息，GNN在许多任务上表现出优秀的性能。但是到目前为止，GNN仍然存在一些问题，例如，邻居节点的特征可能包含无用的信息，可能会对当前节点的预测产生负面影响。另外，GNN依赖通过图的边来传递消息，这也使其容易受到针对图结构的干扰和对抗攻击。

信息瓶颈（Information Bottleneck，IB）为表示学习提供了关键原则：最佳表示应包含用于下游预测任务的最少且充足的信息。具体来说，IB鼓励数据表示应该最大限度地提供与目标相关的信息，也阻止从数据中获取与预测目标无关的其他信息。基于这种学习范式，学习到的模型可以避免过度拟合，并变得更加强大，能够抵抗对抗攻击。但是，将IB原理扩展到基于图结构化数据的表示学习面临着两个挑战：1.IB的模型假设数据集中的训练示例是独立的并且分布均匀，对于图结构数据难以按照IB原理进行模型训练。2.结构信息对于表示图结构数据是必不可少的，但是这种信息是离散的，因此很难对其进行优化。

为此，作者提出了图信息瓶颈（GIB），这是一种从IB继承的信息论原理，适用于图结构数据的表示学习。GIB从图结构和节点特征中提取信息，并鼓励学习到的表示形式仅包含最少的足够信息。作者还推导了GIB的变分界线，使GIB易于处理并且适合GNN的设计和优化，并通过图注意力网络（Graph Attention Networks，GAT）来证明其原理。作者基于分类分布和伯努利分布设计了两种采样算法，并提出了两种模型GIB-Cat和GIB-Bern。实验证明这两种模型都能持续提高稳健性，在对抗性扰动下，GIB-Cat和GIB-Bern分别将分类精度提高了31.3％和34.0％。

方法

推导图信息瓶颈原理

图信息瓶颈（GIB）原理继承了信息瓶颈（IB）原理，它要求节点表示应该将图结构数据中的信息最小化，并把用于预测的信息最大化。

但是，由于数据点之间的相关性，最通用的GIB的优化面临挑战。作者依赖于图结构化数据的局部依赖性假设：给定节点v的特定跳数内的邻居数据，其余的数据将独立于v。作者使用此假设来约束最佳表示的空间，使得GIB原理更容易被处理，最佳表示遵循下图所示的马尔可夫依赖关系。

具体来说，P（ZX | D）迭代节点表示以对关联进行分层建模。在每个迭代l中，使用局部依赖假设：每个节点的表示将通过合并与图结构Z有关的邻居来完善，Z是通过局部调整原始图结构A并从本质上控制A的信息流来获得的，最后将基于Z进行预测。

在传统的IB原理下，变分方法经常用于模型优化。由于数据点现在是相关的，作者提出了变分上下界并谨慎推导这些界限。

GIB方法实例 GIB原理可以应用于许多GNN模型，作者将其应用于图注意力网络模型，并提出了GIB-Cat和GIB-Bern。算法1说明了两个模型的基本框架，算法2和3中显示了不同的邻居采样方法。具体而言，作者设计了两种用于邻居采样的算法，分别使用类别分布和伯努利分布。对于类别分布版本，作者将注意力权重视为类别分布的参数，以对精炼图形结构进行采样来提取结构信息，对于伯努利分布版本，作者使用注意力权重参数化的伯努利分布对每一对节点v和其邻居进行独立建模。与传统的GNN不同，GIB-Cat和GIB-Bern宽松地依赖于图结构，因为图结构仅用于确定每个节点的潜在邻居，并且基于图结构表示执行消息传递，因此GIB模型对传统GNN敏感的结构扰动/攻击保持良好的鲁棒性。

实验

实验目的是测试以GIB目标训练的GNN是否更健壮和可靠。具体来说，作者考虑以下两个问题：（1）在GIB的推动下，GIB-Cat和GIB-Bern是否比GAT拥有更强大的表示法来防御攻击？（2）GIB的每个组件如何对这种鲁棒性做出贡献，特别是如何从结构和节点特征控制信息？

作者将GIB-Cat和GIB-Bern与包括GCN 和GAT 在内的基线进行比较，此外，还考虑了专门针对对抗攻击而设计的两种最先进的图形防御模型：GCNJaccard ，RGCN。在评估中，作者使用了三个引用基准数据集：Cora，Pubmed和Citeseer ，下表中显示了数据集的摘要统计信息及其拆分。对于所有实验，作者在5个随机初始化上进行实验，并报告平均性能，使用F1-micro作为验证指标来训练模型。

比较了不同模型对对抗攻击的鲁棒性

作者使用一种强大的针对性攻击技术Nettack ，可以通过翻转边缘或节点特征攻击节点，并在evasive 和 poisoning设置下评估模型，即攻击分别在训练模型之后或之前发生。作者遵循Nettack 的设置选择40个目标节点，对于每个目标节点，训练不同的评估模型。作者报告了这40个目标节点的分类准确性，并列举了从1到4的扰动数，其中每个扰动表示节点特征的翻转或边的添加或删除。表1结果显示，与GAT相比，GIB-Cat和GIB-Bern在二个数据集上的分类准确度都得到了很大提升。表2结果显示，GIB的不同组成部分对结果的影响不同，其中AIB（结构）对改善GIB-Cat和GIB-Bern做出了重大贡献。

仅特征攻击

为了进一步检查IB对节点特征的有效性，作者将随机扰动注入到节点特征中。具体来说，在训练模型之后，为所有节点的每个节点特征维度都添加独立的高斯噪声。下表结果表明，在不同的特征噪声比上，GIB-Cat和GIB-Bern都始终优于其他没有IB的模型，这表明当特征攻击成为干扰的主要来源时，GIB使模型变得更加健壮。