8篇 ICLR 2023 高分GNN论文

ICLR 2023 将于2023年5月1日—5日在卢旺达首都基加利线下举行。ICLR由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 牵头举办，从2013年至今已经举办了10届，今年将举办第11届。

ICLR在近几年一直获得学术研究者们的广泛认可，被认为是深度学习领域的顶级会议之一。 ICLR2023 共接收近 5000 篇投稿，整体接收率为 31.8%。所有投稿论文均分为4.94，论文接收分数大概在5.5分。

历年ICLR论文数据分析： https://www.aminer.cn/conf/5ea1d518edb6e7d53c0100cb

本周精选了8 篇ICLR2023上GNN领域的优秀论文。

1.Rethinking the Expressive Power of GNNs via Graph Biconnectivity 论文详情页

作者：Bohang Zhang,Shengjie Luo,Liwei Wang,Di He

AI华同学综述（大模型驱动）：在本文中,我们研究了图神经网络(GNN)的表达能力。具体来说,我们介绍了一个新的表达性度量类别,该类别通过图的双连通性特征来捕获。特别是,我们强调了这些特征在理论和实践中的重要性。实验结果表明,我们的框架优于以前的框架,并且可以应用于各种统计数据集。我们提出了一种简单的、更有效的方法,称为Generalized Distance Weisfeiler-Lehman(WDL)。这种方法保留了表达性和具有完全并行的可扩展性。

2.Graph Neural Networks for Link Prediction with Subgraph Sketching 论文详情页

作者：Benjamin Paul Chamberlain,Sergey Shirobokov,Emanuele Rossi,Fabrizio Frasca,Thomas Markovich,Nils Hammerla,Michael M. Bronstein,Max Hansmire

AI华同学综述（大模型驱动）：许多图神经网络(GNNs)在Link预测(LP)任务中相比简单的启发式规则表现不佳。这主要是由于无法进行三角形计数（count triangles）,以及由于它们不能区分自同构节点（具有相同结构角色的节点）。两种表达能力问题可以通过学习边(而不是节点)表示来消除,并结合结构特征,如三角形计数。最近的工作侧重于基于子图的方法,这些方法在LP中取得了最先进的性能,但由于子图之间的冗余率很高,会导致效率低下。我们分析了LP中基于子图的方法，提出了一种新颖的全图GNN。

3.Sign and Basis Invariant Networks for Spectral Graph Representation Learning 论文详情页

作者：Derek Lim,Joshua Robinson,Lingxiao Zhao,Tess Smidt,Suvrit Sra,Haggai Maron,Stefanie Jegelka

AI华同学综述（大模型驱动）：我们介绍了SignNet和BasisNet的新神经架构,它们对特征向量显示的两个关键对称性表示不变:(i)符旋转,因为如果v是属性向量,那么就意味着-v也是,以及(ii) 更一般的基础对称性，它出现在具有无限多种基础特征向量选择的高维特征空间中。我们证明,在某些条件下,我们的网络是可以通用的,即这些约束下,他们可以将任意规律的相似度近似到任何变化的情况下。当使用拉普拉斯等属性向量时,我们的网络比谱方法表现得更好。实验表明,我们的网络明显优于现有的粒子图重叠、表达式图解析和三角图神经领域学习基线。

4.Effects of Graph Convolutions in Multi-layer Networks论文详情页

作者：Aseem Baranwal,Kimon Fountoulakis,Aukosh Jagannath

AI华同学综述（大模型驱动）：图卷积网络是解决基于图形信息的分类问题的一种最受欢迎的架构。我们提出了一种严格的理论理解了多层网络中的图变换的影响。我们通过一组非线性可分高斯混合模型与随机块模型的节点分类问题研究了这些影响。首先,我们表明, 单个图卷积扩展了多层网络可以分类的均值之间的距离范围。其次,我们证明,在比图中显著更高的图密度下,两次图卷积同样可以改善这一点。最后,我们提供了理论和实证洞察力的双重比较结果。

5.Learning on Large-scale Text-attributed Graphs via Variational Inference论文详情页

作者：Jianan Zhao,Meng Qu,Chaozhuo Li,Hao Yan,Qian Liu,Rui Li,Xing Xie，Jian Tang

AI华同学综述（大模型驱动）：本文研究了文本图的学习,每个节点都与一个文本描述相关。理想的解决方案是将语言模型和图形神经网络(GNN)与大规模语言模型、图形语言神经网络和EM框架相结合。然而,对于大规模的图,这个问题变得非常困难,因为大规模的文本和图的计算复杂性使得问题变得非常棘手。在本文中,我们提出了一种有效的和有效的学习方法,通过将图结构和语言学习与变量期望最大化(EM)框架结合,将其改进为E-步骤和M步骤。这种程序允许单独训练两个模块,但同时允许它们相互增强。大量数据集的实验证明了该方法的效率和有效性。

6.Learning rigid dynamics with face interaction graph networks论文详情页

作者：Kelsey R. Allen,Yulia Rubanova,Tatiana Lopez-Guevara,William Whitney,Alvaro Sanchez-Gonzalez,Peter Battaglia,Tobias Pfaff

AI华同学综述（大模型驱动）：面向对象的图神经网络在复杂结构中模拟运动是一项困难的任务。虽然基于图神经网络(GNN)的模型可以有效地学习来模拟复杂身体动力学,如液体、布料和关节组织,但这些模型对于柔性体物理的稳健性和效率相对较弱。在这里,我们介绍了Face Interaction Graph Network (FigNet),该网从未知的节点到粒子级组合上比已知的节点多4倍,并且比分析仪器所需的最小训练数据提高了8倍。此外,FigNet可以直接从实际数据中学习强力摩擦动态,并可以在少量训练数据下进行更精确的计算工作。

7.Automated Data Augmentations for Graph Classification论文详情页

作者：Youzhi Luo,Michael McThrow,Wing Yee Au,Tao Komikado,Kanji Uchino,Koji Maruhash,Shuiwang Ji

AI华同学综述（大模型驱动）：数据增强是提高学习机的概率的关键。我们认为数据扩展对图的标记依赖性很大程度上取决于它们保留的标签数量。在本文中,我们提出了GraphAug,一种新的自动数据扩展方法,旨在计算图分类器标签的不变增强。而与现有的研究不同,该算法使用一个自动化增量扩展模型来避免损耗关键标签相关信息。为了确保标记可能性的最大化,我们开发了基于激励学习的训练方法,以最大限度地实现估计的标记增长概率。

8.Characterizing the Influence of Graph Elements论文详情页

作者：Zizhang Chen,Peizhao Li,Hongfu Liu,Pengyu Hong

AI华同学综述（大模型驱动）：影响函数是一种从鲁棒统计中归纳出的有效和有用的随机方法。理想的解决方案是将文本和图结构信息与大规模语言模型和图神经网络相结合。最近,这些系统对图卷积网络(GCN)的影响引起了巨大的关注。然而,没有先前研究过关于将图中节点/边移除或修改的影响函数的研究。为了填补这一缺口,我们提出了一个简单的图卷积(SGC)模型,该模型在属性矩阵上运行,并为给定任意节点或边界的估计值量化了一个影响函数。此外,我们进行了理论分析,以估计移除一个节点的误差边界。最后,我们证明了如何有效地使用影响函数来指导对抗攻击。

— end —

本期内容志愿者：程煜晴