【NeurIPS】四篇好文简读-专题10

一

论文题目：

AutoGEL: An Automated Graph Neural Network with Explicit Link Information 论文摘要：

最近，图神经网络 (GNN) 在各种现实世界场景中获得了普及。尽管取得了巨大成功，但 GNN 的架构设计在很大程度上依赖于人工。因此，近年来显着提高了性能的自动图神经网络（AutoGNN）引起了研究界的兴趣和关注。然而，现有的 AutoGNN 工作主要采用隐式方式对图中的链接信息进行建模和利用，这对于图上的链接预测任务没有很好的正则化，并且限制了 AutoGNN 对于其他图任务的性能。在本文中，作者提出了一种新的 AutoGNN 工作，它显式地对链接信息进行建模，缩写为 AutoGEL。通过这种方式，AutoGEL 可以处理链接预测任务并提高 AutoGNN 在节点分类和图分类任务上的性能。具体而言，AutoGEL 在层内和层间设计中提出了一种包含各种设计维度的新颖搜索空间，并采用更强大的可微搜索算法来进一步提高效率和有效性。基准数据集的实验结果证明了 AutoGEL 在多个任务上的优越性。

论文链接：

https://proceedings.neurips.cc//paper/2021/file/cd3afef9b8b89558cd56638c3631868a-Paper.pdf 代码链接：

https://github.com/zwangeo/autogel

二

论文题目：

Achieving Forgetting Prevention and Knowledge Transfer in Continual Learning 论文摘要：

持续学习 (CL) 逐步学习一系列任务，目标是实现两个主要目标：克服灾难性遗忘 (CF) 和鼓励跨任务的知识转移 (KT)。然而，现有的大多数技术只关注克服CF，并没有鼓励KT的机制，因此在KT中表现不佳。尽管有几篇论文试图同时处理 CF 和 KT，但作者的实验表明，当任务没有太多共享知识时，它们会遭受严重的 CF。另一个观察结果是，当前大多数 CL 方法不使用预训练模型，但已经表明此类模型可以显着提高最终任务的性能。例如，在自然语言处理中，微调类似 BERT 的预训练语言模型是最有效的方法之一。然而，对于 CL，这种方法存在严重的 CF 问题。一个有趣的问题是如何充分利用预训练模型进行 CL。本文提出了一种称为 CTR 的新模型来解决这些问题。作者的实验结果证明了 CTR 的有效性。

论文链接：

https://proceedings.neurips.cc//paper/2021/file/bcd0049c35799cdf57d06eaf2eb3cff6-Paper.pdf 代码链接：

https://github.com/zixuanke/pycontinual

三

论文题目：

Graph Contrastive Learning with Augmentations 论文摘要:

图结构数据上的可泛化、可转移和鲁棒的表示学习仍然是当前图神经网络(GNNs)面临的挑战。与已开发的用于图像数据的卷积神经网络(CNN)不同，针对GNN的自监督学习和预训练的探索较少。本文提出了一种用于学习图形数据的无监督表示的图对比学习(GraphCL)框架。作者首先设计了四种类型的图增广，以结合各种先验。然后，作者在四种不同的设置下，系统地研究了图增广的各种组合对多个数据集的影响：半监督、无监督、迁移学习以及对抗性攻击。结果表明，即使不调整扩展范围，也不使用复杂的GNN体系结构，提出的GraphCL框架可以产生与最先进的方法类似或更好的通用性、可传递性和鲁棒性的图形表示。作者还研究了参数化图形增广程度和模式的影响，并在初步实验中观察到了进一步的性能提升。

论文链接：

https://arxiv.org/abs/2010.13902 Github链接：

https://github.com/Shen-Lab/GraphCL

四

论文题目：

Graph Neural Networks with Local Graph Parameters 论文摘要：

最近提出的各种方案通过在k元组顶点之间传播特征来提高图神经网络(GNNs)的区分能力。众所周知，这些“高阶”GNN的区分能力受到k维Weisfeiler-Leman(WL)检验的限制，它们的O(n^k)内存要求限制了它们的适用性。其他方法从一开始就向GNN注入局部高阶图结构信息，由此以一次性的、可能是非线性的预处理步骤为代价从GNN继承所需的O(N)存储器需求。作者提出了局部图参数使GNN能作为研究后一类方法的框架，并根据WL检验的一种变体和它们可以考虑的图结构性质精确地刻画了它们的区分能力。局部图参数可以添加到任何GNN体系结构中，并且计算成本很低。就表示能力而言，作者的方法介于GNN和它们的高阶对应物之间。此外，作者还提出了几种技术来帮助选择正确的局部图参数。作者的结果将GNN与有限模型理论和有限变量逻辑中的深层结果联系起来，实验评估表明，添加局部图参数通常对各种GNN、数据集和图学习任务都有积极的影响。

论文链接：

https://openreview.net/forum?id=yGKklt8wyV Github:

https://github.com/MrRyschkov/LGP-GNN