上海交通大学王宇光：几何深度学习和图神经网络的研究进展和趋势

机器之心报道

机器之心编辑部

3 月 23 日，在机器之心 AI 科技年会上，上海交通大学自然科学研究院和数学科学学院副教授、上海人工智能实验室成员王宇光老师发表了主题演讲《几何深度学习和图神经网络的研究进展和趋势》。

演讲视频地址（点击「阅读原文」也可观看）：https://www.bilibili.com/video/BV1Yr4y1q7c1?spm_id_from=333.999.0.0

以下为王宇光在机器之心 AI 科技年会上的演讲内容，机器之心进行了不改变原意的编辑、整理：

大家下午好，我是上海交大自然科学研究院的王宇光。今天主要给大家介绍一下几何深度学习和图神经网络的研究进展，以及未来的技术趋势。

我们知道几何深度学习是用于处理不同对象的深度神经网络，其结构和传统 CNN 相似，只是处理的对象发生了变化。

传统 CNN 处理的可能是图片数据，在数学上是由格点像素值组成的平面 2D 数据，如果有多个 channel 则可能是张量数据，但往往不考虑像素之间的相互关系，不考虑各个格点之间的相互连接。而几何深度学习的重要数据对象是图结构数据或者更广义的 3D 点云数据等，结构数据区别于原始图片数据的一个重要特点是不仅有节点（节点对应原来图片的像素），还有节点之间的相互连接。以经典的图结构——分子数据结构为例，分子由原子构成，原子可以看作图的节点，原子之间的化学键可以看作图中边的权值，这就构成了图结构数据。这种数据结构广泛存在于应用中，图结构数据比图片数据多考虑了节点之间的连接。

对于图分类问题或回归问题，各个样本的尺寸和结构可能是不尽相同的，这就导致传统 CNN 方法不适用于新型图结构数据的学习、预测任务。

几何深度学习实际上是这几年才发展起来的，特别是从 2021 年开始大家才广泛关注几何深度学习和图神经网络，因为 2021 年 AlphaFold 实现了对蛋白质结构的准确预测，准确率可以达到 95% 以上。这样高精度而且非常快速的预测工具，是基于一些几何深度学习的模块。这项工作被 Science 评为 2021 年十大科学进展之最。图神经网络广泛应用于其他领域，例如它对一些数学定理的证明或发现起到了很好的作用，特别是去年发表在 Nature 上的一个用 GNN 辅助科学证明的算法，由 DeepMind 与几位科学家合作完成，引起了数学圈很大的轰动。

深度学习理论，特别是关于几何深度学习和图神经网络的理论，和传统深度学习理论比较类似，研究重点主要包括以下几个方面：

深度学习的表达能力，涉及到很多的数学理论，当然也可能涉及一些物理的解释；

例如，学习理论、调和分析、统计学对于研究深度学习的泛化能力非常重要；

深度学习主要依赖于反向传播算法，所以最优化理论也是一个重要的研究工具；

一些特别有效的算法的设计基本原理，也依赖于诸多数学理论。

图神经网络是几何深度学习的一部分，研究具有结构属性、拓扑性质的数据的学习和预测任务。图神经网络的每一个特征提取层都会对节点的特征和连接的特征进行更新，这种更新模式被叫作消息传递模式。

消息传递模式指的是要更新某一个点的特征，需要考虑周边和它相连的点的特征，这里就要用到推进函数。推进函数通常是由一个网络对节点和周边节点关系的刻画。然后用另一个网络整合周边节点信息，接着加和到这个节点本身的特征中，这两步更新模式就构成了一个基本的消息传递模式。

图神经网络特征提取模块可以写成图卷积的模式，与传统的 CNN 卷积类似，只不过在图上定义卷积不如 CNN 直观，不能用空间域窗口的方式平移得到，但是可以仿照傅里叶卷积的模式，定义图卷积的模块。这种卷积被证明和传统 CNN 具有相似的特征提取功能，共享了参数，并保持了重要的图结构性质，从而在图神经网络的学习中起到了很好的特征提取作用。其中一个很重要的模块是由谱图神经网络衍生出来的经典 GCN 模型，如果写成谱图的形式就是 Laplacian 正则化的过程。

如果我们想设计更好的，具有更强的鲁棒性或者更好抗噪能力的 GNN，可以在正则化中再做一个更新，比如说引入一些小波变换、L1 正则等。事实上人们设计了一些具有多尺度多层分析能力的图卷积模块，并且引入了 Shrinkage 技术等对信号进行过滤、对数据进行压缩，这些在实践中都得到了比较好的验证。

但图神经网络有时候还不够用，因为随着任务的复杂，特别是涉及复杂系统、海量数据的研究或者高阶任务的预测（例如轨迹预测等新型任务），传统的图神经网络还不够。

人们又考虑是不是能够在图学习中利用更多的拓扑信息或结构信息，因此就导出了一种超越神经网络的单纯复形网络的消息传递模式，主要克服了图神经网络的三个缺陷。第一是图神经网络在建模多个节点相互作用的时候并没有那么有效；第二是在检测高阶结构（比如二阶拓扑结构）时，图神经网络由于只考虑了关系，即连接节点的边而并没有考虑环或者面的信息和特征，因此 GNN 不能完成高阶任务；第三是不能有效地处理高阶信号，例如预测从某一点到另一点的轨迹信息。

单纯复形网络和传统的消息传递模式很类似，只不过在传递的过程中不仅考虑了两个节点之间边的连接，还考虑了高阶结构（比如三角形或多边形）中的拓扑结构。把这些加入到消息传递模式中，就形成了单纯复形消息传递模式。

这样的模式可以更好地完成一些复杂任务，而且事实证明它们的表达能力比传统的图神经网络更强。在一些特殊任务（例如轨迹预测任务）上，同等条件下比图神经网络的效果好很多。

关于未来的趋势有很多个角度可以讲，这里稍微列几个大家可能感兴趣或者比较重要的方向。

首先，图神经网络原来是一个图结构数据，是一种离散化的结构，但是数学工具往往是坐落在连续空间上的，所以近来大家考虑将微分几何的一些方法引入到 GNN 中，包括新型等变 GNN 的架构，利用对称性等工具，以更好地理解和利用深度学习模型中图结构性质的不确定性。

这里有一些值得关注的点，包括利用对称性形成更有效的学习模型；应用最优传输的思想；在表示学习中使用微分几何的一些概念，特别是人们对理解关系数据的几何，并利用这些见解学习欧氏几何或非欧几何的表示有很浓厚的兴趣。由此产生了许多采用特定几何进行编码的架构，比如一种利用双曲几何的 GNN 模型，由 2019 年首次引入，最近又有了新的进展。此外，过去一年里提出了大量涉及双曲几何的新型模型和架构，以捕获更复杂的图数据中的结构特征。另一个思路则是利用等方差或者对称形式的几何信息构建图神经网络。

离散微分几何也被用于深入了解图神经网络的设计和解释，曲率的离散概念可以表征离散结构的局部和全局的几何特性。图神经网络往往会有过度挤压的效应，因为节点之间有相互连接所以信息传递比普通的 CNN 要快。最近一些专家提出了一些基于曲率的图学习解释方法，用曲率刻画过度挤压的效率，这在图神经网络中是非常重要的任务。另外，有研究利用里奇曲率提出了一种减轻图神经网络挤压效应的新方法。未来，离散曲率可能会和图机器学习中的其他结构或拓扑问题相关联，这个课题也将继续影响该领域，并进入更多应用领域。

这些改进有望推动计算方面的进步。由于借鉴传统的欧氏空间数据的表示学习思路来降低非欧空间的算法复杂度。例如，采用离散曲率几何工具的计算成本往往是很高的，难以将它们集成到大规模的应用程序之中。因此，人们将提出一些先进的计算方法和专业化的软件包来使这种几何思想更容易为从业者所接受。

上述消息传递模式将成为一种主要范式。2021 年的时候牛津大学 (University of Oxford) 的 Michael Bronstein 预测说图机器学习进步需要脱离来自于 2020 年以及之前主导该领域消息传递的思路。不过在 2021 年的时候，这个预言只实现了一部分，在接下来的研究中预计会进一步发展。其中有一种思路是消息传递模式可以引入子图神经网络，子图结构能够对特征进行更有效的刻画，子图神经网络有望突破限制。该方法的思路是将图表示成子结构的集合，这个想法可以追溯到 1960 年代的图重构猜想，现在图神经网络将让它重新焕发生机，学者们认为子图 GNN 和相应的重构猜想会是未来一个主要的研究方向。

2021 年以来还有一个新的趋势是将微分方程引入神经网络。2021 年有研究通过物理系统的动力学重新设计图学习模型，其中的动力学往往由微分方程来表达。另外，图神经网络还可以与微分方程的求解方式相结合，偏微分方程可以对图上信息的传播进行建模，很多标准的图神经网络架构可以看作是求解微分方程的数值迭代解，这个和 2019 年 NeurlPS 上的最佳论文 Neural ODE 的思想很像，将偏微分方程用于图形网络可能会产生一些新的突破。

这种对连续对象离散化的方法带来了令人耳目一新的效果，让图神经网络能够为下游机器学习任务提取更有益的信息，并将焦点从支持一种信息转移到支持图结构信号计算的模式上。特别是 2022 年使用图作为一种机制来执行本地化的连贯计算将成为一种新的趋势，这种新想法在数据集上会交换有关的数据信息，并将其用作数据的整体属性归零的机制，这是一条有益的途径。

图神经网络还受到信号处理、神经科学、物理学思想的启发，获得了新的灵感。很多人认为图信号处理将重新点燃人们对图机器学习的兴趣，并提供一套数学工具，比如广义傅里叶变换，即图上的傅里叶变换，或图上的小波变换等。经典的信号处理和物理学所依赖的基本技术（比如表示论），在图神经网络上的应用已经于 2021 年取得了一些重要进展，并且仍有很多开发空间。经典的线性变换、傅里叶变换、小波变换的吸引人之处在于提供了一种具有数学属性的通用隐式空间 (latent space) 和完备的数据表示，比如平滑信号具有低频傅里叶系数，而分段平滑信号具有稀疏和局部的小波系数。过去有构建线性变换来揭示信号特性的传统，特别是有些物理学家在设计基于群作用下的不同对称性的等变变换方面，会采用仿射群的连续小波变换等，这些技术都有可能用到图机器学习或几何深度学习里。

并且有研究人员预计构建结构化的潜在空间的趋势将在 2022 年继续得到发展，部分是由于应用程序的需求，但也出于交换适应性和可解释性的普遍愿望。例如结构化变换域不是自适应的，但是非常容易读取，而图神经网络将有助于实现两者的平衡。总的来说，受信号处理和神经科学启发的图神经网络将越来越具有市场，也将有越来越多样化的应用（例如基于海量数据的交通预测、智慧城市建设），模拟复杂的物理动力学以及神经数学分析等方面将会起到重要的作用。

在研究更复杂的任务时，例如先前提到的复杂系统建模，可能需要更高阶的拓扑信息来进行模型的训练，甚至需要超越图神经网络。复杂系统的应用也很广，2021 年的物理诺奖颁给了以复杂系统成名的乔治 · 帕里西 (Giorgio Parisi)，以表彰他在这方面的研究突破。虽然在基本抽象的层面上，复杂系统通常可以描述为图（graph），但必须考虑更为复杂的结构，例如非成对关系和一些动态行为。2021 年的很多工作都涉及到动态图和动态关系系统的预测，并展示了如何将图神经网络拓展到高阶结构。

2021 年，单纯复形的消息传递模式解决了图神经网络的许多限制，例如检测某些子结构，捕获远程和高阶交互，处理高阶特征和转译 WL 层次的结构。实践中，在分子属性的预测问题以及轨迹追踪问题中都取得了很好的结果。我预计这些方法将在 2022 年扩展为更为激动人心的新应用，比如用于计算大数据拓扑，关系预测和计算机通信学领域的难题中。

动态图也有很多实际的应用，例如新冠传播预测，交通预测，轨迹建模，这些应用往往需要捕获高度结构化的时序数据的复杂动态效应。图机器学习提供了捕获空间依赖性，时间序列之间的交互以及动态相关性的能力，在接下来的研究中应该能够看到时序数据和动态系统结合的想法被用于图神经网络中，也希望这些想法能够产生新的模型设计、训练方法以及对复杂动力机制的严格解释。

另外，推理、公理、泛化在图机器学习中会是比较大的问题。2021 年，由 DeepMind 做出的基于算法推理的图神经网络，能够用于解决一些数学猜想和定理。他们开发与广义贝尔曼 - 福德 (Bellman-Ford) 算法一致的知识图谱推理器，从而利用分布变化显示因果模型来设计图神经网络，这个方向具有很好的前景，而且通用性很强，可以为 GNN 开辟未来，我觉得 2022 年可能会有一些比较好的探索。

图神经网络还有可能和强化学习结合，强化学习是当今人工智能研究中比较突出和活跃的领域之一，通常强化学习中的 agent 或环境表示中都会出现图结构和对称性。2021 年有两个比较相关的重要进展，一个是利用基于注意力机制的图表示来建立强化学习的基准，以提高模型的泛化和迁移能力，这方面已经应用到连续控制、多智能体强化学习和机器人协同作业的复杂任务中。另一个方面，强化学习的应用已经扩展到具有基于图的状态和动态空间的环境场景下，在电网控制、组合优化，以及在图论中寻找反例和解决猜想中都起到了很大的作用。

图可能是将强化学习带入现实世界的一个关键技术，在芯片设计、代码建模、药物发现、AI for science 的科学应用、经济学等诸多领域都是无所不在的。2022 年可能会见证基于强化学习的基准和图结合的寒武纪爆发，这将引领强化学习研究朝着应用的方向发展，并会启发很多基础研究。我期望 2022 年基于 Transformer 和类似的图注意力机制网络的方法，能够与强化学习结合。在不久的将来，图网络等方差、强化学习的组合优化等方面也会有很大的突破，并将在分子设计、网络规划、芯片设计等领域有广泛应用。

特别地，图神经网络广泛用于药物的发现和设计，并且已从图神经网络和 Transformer 的融合中获益不少。GNN 的起源也是来自于计算化学的研究，分子图的分析是 GNN 最流行的应用之一。2021 年该领域持续取得了非常重大的进展，并涌现出数十种新型网络结构和多项基准测试结果。基于图的 Transformer 也倍受瞩目，继承了这些结构在 NLP 中的优点。GNN 和 Transformer 相结合应用到药物研发或其他分子预测任务中，能够起到跨任务、加强泛化能力的作用。

人工智能驱动的药物发现也越来越多地使用几何和图神经网络的学习，AlphaFold 和分子图神经网络的成果让我们离 AI 设计新药的梦想更近了一步，特别是 Alphabet 新子公司 Isomorphic Labs 的成立表明了业界对这项技术寄予厚望。其中，利用 AI 模 拟分子的相互作用成为实现这些目标而必须跨越的重要前沿课题。这可能是未来的一个趋势，因为现在只能预测分子的一些固定结构，不能很好预测分子之间的相互作用，或者是多个粒子之间的相互作用。另外，基于细胞图（cell graph）的 GNN 在软物质（或凝聚态物理）研究中的应用将进一步发展。

最后，我简单介绍一下图神经网络与量子机器学习的结合。量子机器学习对领域内大多数研究者来说仍是一个奇特的设想，但随着量子计算硬件的出现，它已经迅速成为可能的现实。最近，Alphabet X 公司展示了量子机器学习架构中图结构归纳偏差的优势。2022 年，扩展图量子机器学习将是一个激动人心的研究方向，将探索图之外的几何深度学习理论的量子版本。量子物理系统通常具有丰富的群对称性，这些对称性已被广泛地纳入到几何深度学习的研究中。这些群对称性也可用于量子架构的设计，从而进一步提高我们使用量子计算机对此类系统进行生成建模的能力。

我今天的介绍就到这里，谢谢大家。

© THE END 

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com