【博士论文】图神经网络表达性:理论、算法与应用

来源：专知本文为论文介绍，建议阅读5分钟在机器学习技术不断加速发展的今天，数据在构建智能模型、模拟现象、预测值、做出决策等方面起着至关重要的作用。

在机器学习技术不断加速发展的今天，数据在构建智能模型、模拟现象、预测值、做出决策等方面起着至关重要的作用。在越来越多的应用中，数据以网络的形式出现。网络数据固有的图结构推动了图表示学习领域的发展。它的作用范围包括为图及其组件(即节点和边)生成有意义的表示。随着消息传递框架在图上的成功应用，即图神经网络，加速了图表示学习的研究。学习图上的信息和表达性表示在广泛的现实世界应用中发挥着关键作用，从电信和社会网络、城市设计、化学和生物学。本文研究了图神经网络更具表现力的各个方面，提出了新的方法来提高它们在标准图学习任务中的性能。本论文的主要分支包括:图表示的普适性，图神经网络感受野的增加，稳定的更深层次图学习模型的设计，以及标准消息传递框架的替代方案。进行了理论和实验研究，展示了所提出的方法如何成为设计更强大的图学习模型的有价值和有效的工具。

在论文的第一部分中，我们研究了图表示质量作为辨别能力的函数，即，我们如何容易地区分非同构的图。首先，我们证明了标准的消息传递方案是不通用的，因为简单的聚合器无法分离具有歧义的节点(相似的属性向量和邻域结构)。基于发现的局限性，我们提出了一个简单的着色方案，可以提供普遍的表示，理论保证和实验验证的性能优势。其次，超越了标准的消息传递范式，我们提出了一种将图语料库作为一个整体来处理的方法，而不是检查图对。为此，我们学习了每个图的软排列矩阵，并将所有图投影到公共向量空间中，在图分类任务中实现了稳定的性能。

https://hal.inria.fr/tel-03666690/

在论文的第二部分中，我们主要关注的是图神经网络的感受野，即一个节点有多少信息来更新其表示。首先，研究了编码邻接信息的标准算子的谱特性，即图移位算子。本文提出一种新的参数算子族，可以在整个训练过程中自适应，并为依赖数据的邻域表示提供一个灵活的框架。这种方法的合并对节点分类和图分类任务都有很大的影响。研究了如何在节点表示中考虑k跳邻域信息以输出更强大的图神经网络模型。结果证明，该模型能够识别结构特性，如连通性和无三角形性。在论文的第三部分，我们解决了长程交互的问题，即位于图中较远部分的节点可以相互影响。在这样的问题中，我们要么需要设计更深层次的模型，要么需要重新表述图中如何定义邻近度。首先，研究了更深层次的注意力模型设计，以图注意力为重点;通过引入一种新的归一化来校准模型的梯度流，该归一化可实现Lipschitz连续性。其次，提出一种基于局部熵测度的数据增强方法，利用包含结构信息的信息来丰富节点属性;