特别抗攻击的仿生图模型

(之前发的 神经网络的一个底层结构缺陷 这篇文章有相应的实现 第三章

Here, the PC graph has an hierarchical structure and intra-layer and inter-layer operations.Inter-layer operations update neural activities and prediction according to information coming from the layer above,while intra-layer ones do it accordingly to the predictions computed from neighbour nodes according to an aggregation mechanism.)

摘要

预测编码是一种信息传递框架，最初开发用于模拟大脑中的信息处理，由于一些有趣的特性，现在也是机器学习的研究主题。其中一个属性是生成模型学习鲁棒表示的自然能力，这要归功于它们特有的信用分配规则，该规则允许神经活动在更新突触权重之前收敛到一个解决方案。 直接颠覆BP的生物学习算法 图形神经网络也是消息传递模型，最近在机器学习的各种类型的任务中表现出突出的结果，提供了结构化数据的跨学科最先进的性能。然而，它们容易受到难以察觉的敌对攻击，并且不适合分布外推广。在这项工作中，我们通过构建与流行的图形神经网络架构具有相同结构的模型来解决这一问题，但依赖于预测编码的消息传递规则。通过大量的实验，我们表明所提出的模型(I)在归纳和转换任务的性能方面与标准模型相当，(ii)更好的校准，以及(iii)对多种敌对攻击具有鲁棒性。

1介绍 (节选)

从结构化数据中提取信息一直是机器学习中一个活跃的研究领域。这与作为该领域主要模型的深度神经网络的兴起相结合，导致了图形神经网络(GNNs)的发展。这些模型在机器学习的各种类型的任务中取得了成果，在电子商务和金融欺诈检测[张等人，2022年，王等人，2019年]，药物和先进材料发现[Bongini等人，2021年，赵等人，2021年，熊等人，2019年]，推荐系统[吴等人，2021年]和社交网络[廖等人，2018年]等领域提供了跨学科的一流性能。它们的力量在于图的顶点之间的消息传递机制，在深度网络的不同层次上反复执行。这些模型的流行例子是图卷积网络(GCNs) [Welling和Kipf，2016]和图注意力网络[Velicˇkovic等人，2017]。尽管在过去几年中获得了上述结果和性能，但这些模型已被证明缺乏稳健性。它们实际上容易受到精心设计的对抗性攻击[Zügner等人，2018，Günnemann，2022，Dai等人，2018，Zügner和Günnemann，2019]，并且不适合分布外概括[Hu等人，2020]。这阻止了GNNs被用于关键任务，在关键任务中，误导性的预测可能导致严重的后果，或者恶意操纵的信号可能导致大量金钱的损失。

更一般地说，鲁棒性一直是深度学习模型的一个问题，突出表现在一个著名的例子中，一张熊猫图片在添加少量对抗性噪声后，以几乎完美的置信度被分类为长臂猿[Akhtar和Mian，2018]。为了解决这个问题，一项有影响力的工作表明，可以将分类器视为基于能量的生成模型，并训练数据点及其标签的联合分布，以提高鲁棒性和校准[Grathwohl等人，2019]。根据这一结果，这项工作研究了使用基于能量的训练算法训练的GNNs的鲁棒性，该算法称为预测编码(PC)，最初开发用于模拟新皮层中存在的分层生成网络中的信息处理[Rao和Ballard，1999]。尽管最初不是为了执行机器学习任务而开发的，但最近的工作一直在分析PC在深度学习中的可能应用。这是由PC有趣的属性以及与

在参数更新方面的反向传播(BP):当用于训练分类器时，PC能够在任何神经网络上近似BP的权重更新[Whittington和Bogacz，2017，Millidge等人，2021]，并且其变体能够精确复制BP的权重更新[Song等人，2020，Salvatori等人，2022a]。已经表明，PC能够训练强大的图像分类器[He et al .，2016]，能够执行生成任务[Ororbia和Kifer，2022]，连续学习[Ororbia et al .，2020]，联想记忆[Salvatori et al .，2021，Tang et al .，2022]，强化学习[Ororbia和Mali，2022]，以及训练具有任何结构的神经网络[Salvatori et al .，2022b]在任意图拓扑上学习。然而，这是预测编码的独特信用分配规则，其中误差在整个网络中动态地重新分布，并在执行权重更新之前集中在最需要它们的地方，直接颠覆BP的生物学习算法 这是我们感兴趣的。事实证明，这使得PC模型在许多生物学相关场景中的表现优于标准模型[Song et al .，2022]。在这项工作中，我们将PC的研究扩展到结构化数据，并表明由于其基于能量的公式，PC自然能够训练鲁棒的分类器。为了表明这一点，我们首先表明PC能够在中小型任务上匹配BP的性能，从而表明图像分类的结果[Whittington和Bogacz，2017]扩展到图形数据，然后表明以这种方式训练的模型在对抗敌对攻击方面的改进的校准和鲁棒性。概括地说，我们的贡献如下:

•我们引入并形式化了一类新的消息传递模型，我们称之为图预测编码网络(GPCN)。我们证明了这些模型在多任务中取得了与使用BP训练的等价GCNs相当的性能，并提出了使用PC训练任何消息传递GNN的通用方法。

•我们的经验表明，GPCNs对其预测不太有信心，因此产生的模型比同等的gcn校准得更好。我们的结果显示，在CORA、CiteSeer和PubMed数据集上，预期校准误差和最大校准误差都有很大改善。这证明了全局预测网络有能力估计接近给定数据点真实概率的可能性，并有能力更好地捕捉预测中的不确定性。

•我们进一步进行了广泛的鲁棒性评估使用先进的图对抗性攻击的各个方面:中毒和逃避，全局和有针对性的，直接和间接。在这些评估中，(I)我们引入了基于PC的图形注意网络(PC-GATs)，并且我们表明(ii)gpcn在所有类型的规避攻击方面优于标准gcn，(iii)gpcn和PC-GATs在大型数据集上的中毒攻击和随机中毒攻击方面优于其对应方，以及(iv)它们在各种数据集上自然地获得了比其他复杂方法更好的性能，这些方法使用旨在使模型更鲁棒的技巧[Zhu et al .，2019]。请注意，这些实验的目标不是提供最先进的结果，而是表明GPCNs具有学习强健表征的天然倾向。

2

2.1 Predictive Coding Graphs

3 Graph Predictive Coding Networks

我们现在提出图形预测编码网络(GPCNs)，通过使用GNNs的多层结构和PC的学习机制获得。为了设计GPCNs，我们引入了两种不同的消息传递规则，并将它们合并到同一个训练算法中。两个规则都是通过梯度下降最小化等式3的相同能量函数而导出的。这里，PC图具有分层结构以及层内和层间操作。

层间操作根据来自上一层的信息更新神经活动和预测，而

层内操作根据邻居节点根据聚合机制计算的预测来更新神经活动和预测。

4实验

4.2

4.3使用Nettack的规避攻击

1. Structure and feature attack:

2. Feature attacks:

3. Structure attacks:

4. Indirect Attacks:

4.4 Global Poisoning Attacks using Meta Learning (Mettack)

完整内容请参考原论文。