【ICLR】四篇好文简读-专题9

一

论文题目：

Pre-training Molecular Graph Representation with 3D Geometry 论文摘要：

分子图表示学习是现代药物和材料发现中的一个基本问题。分子图通常由其二维拓扑结构建模，但最近发现，三维几何信息在预测分子性质方面发挥着更重要的作用。然而，现实世界中3D信息的缺乏极大地阻碍了对几何图形表示的学习。为了应对这一挑战，作者提出了多视图预训练（GraphMVP）框架，通过利用二维拓扑结构和三维几何视图之间的对应关系和一致性来进行自监督学习。GraphMVP有效地学习了一个二维分子图编码器，该编码器通过更丰富和更有鉴别力的三维几何结构得到了加强。作者还进一步提供了理论上的见解，以证明GraphMVP的有效性。最后，综合实验表明，GraphMVP能够超越现有的图SSL方法。

论文链接：

https://openreview.net/forum?id=xQUe1pOKPam

二

论文题目：

Adversarial Attacks on Graph Neural Networks via Meta Learning 论文摘要：

图的深度学习模型在许多任务上都取得了进步。尽管它们最近取得了成功，但人们对其稳健性知之甚少。作者研究了对图神经网络的训练时间攻击，用于扰乱离散图结构的节点分类。核心原则是使用元梯度来解决训练时间攻击背后的双层问题，本质上将图视为超参数进行优化。实验表明，小的图扰动始终导致图卷积网络的性能大幅下降，甚至转移到无监督嵌入。值得注意的是，算法产生的扰动会误导图神经网络，以至于它们的性能比忽略所有关系信息的简单基线更差。作者假定每次攻击前不对目标分类器有任何了解或访问。

论文链接：

https://arxiv.org/abs/1902.08412 代码链接：

https://www.kdd.in.tum.de/gnn-meta-attack

三

论文题目：

SAMPLING BEFORE TRAINING: RETHINKING THE EFFECT OF EDGES IN THE PROCESS OF TRAINING GRAPH NEURAL NETWORKS

论文摘要：

图神经网络 (GNN) 在许多基于图的任务上表现出色；然而，当在大规模图上训练时，它们也会带来沉重的计算负担。尽管已经提出了各种采样方法来通过在训练期间缩小图的规模来加快 GNN 的训练速度，但是如果我们需要在训练前进行采样，它们就变得不可用了。在本文中，作者受到称为 diffusion map 的流形学习算法的启发，用它们除了节点特征之外传达的额外信息来量化图中每条边对训练的重要性。基于这个计算，作者提出了Graph Diffusion Sampling (GDS)，这是一种简单但有效的采样方法，用于在训练前缩小边集的大小。GDS 更喜欢对重要性高的边进行采样，GDS 丢弃的边将永远不会用于训练过程。经验表明，GDS 保留了对各种模型（GCN、GraphSAGE、GAT 和 JKNet）的训练至关重要的边缘。与在全图上训练相比，GDS 可以保证模型的性能，同时只对一小部分边进行采样。

论文链接：

https://openreview.net/forum?id=UajXTGRjuKB

四

论文题目：

3D INFOMAX IMPROVES GNNS FOR MOLECULAR PROPERTY PREDICTION

论文摘要：

分子性质预测是深度学习发展最快的应用之一，对现实世界有重要影响。包括三维分子结构作为输入学习模型，它们在许多分子任务中的表现。然而，这些信息是不可行的计算规模所需的几个现实世界的应用程序。作者提出预先训练一个模型，只给出分子的二维分子图来推理分子的几何形状。利用自监督学习的方法，作者最大化三维汇总向量与图神经网络(GNN)表示之间的互信息，使它们包含潜在的三维信息。在对未知分子进行微调时，GNN仍然会生成隐式三维信息，并可用于改进下游任务。作者的研究表明，3D预训练可以显著改善多种性质，例如8种量子力学性质的平均MAE降低22%。此外，学习到的表示可以在不同分子空间的数据集之间有效传输。

论文链接：

http://export.arxiv.org/pdf/2110.04126v1

github链接：

https://github.com/hannesstark/3dinfomax