【NeurIPS】四篇好文简读-专题7

一

论文题目：

Towards understanding retrosynthesis by energy-based models 论文摘要：

逆合成是识别一组反应物来合成目标分子的过程。这对材料设计和药物开发具有重要意义。现有的基于语言模型和图神经网络的机器学习方法已经取得了令人鼓舞的结果。然而，这些模型之间的内在联系很少被讨论，并且需要对这些模型进行严格的评估。在本文中，作者提出了一个框架，将基于序列和基于图的方法统一为具有不同能量函数的基于能量的模型(EBMs)。这个统一的视图建立了模型之间的联系并揭示了模型之间的差异，从而增强了作者对模型设计的理解。作者亦会为市民提供全面的工作表现评估。此外，我们提出了一个新的双变量框架内执行一致的训练，以诱导之间的协议之间的前向和后向预测。这个模型改进了无模板方法的最新进展，无论是否有反应类型。

论文链接：

https://proceedings.neurips.cc//paper/2021/file/5470abe68052c72afb19be45bb418d02-Paper.pdf

二

论文题目：

Learning Imbalanced Datasets with Label-Distribution-Aware Margin Loss 论文摘要：

当训练数据集严重类不平衡时，深度学习算法可能会表现不佳，但测试标准需要对出现频率较低的类进行良好的泛化。作者设计了两种新颖的方法来提高这种情况下的模型性能。首先，作者提出了一种理论上有原则的标签分布感知边际 (LDAM) 损失，其目的是最小化基于边际的泛化界限。这种损失在训练期间取代了标准的交叉熵目标函数，并且可以与先前的训练策略一起应用，以进行类别不平衡的训练，例如重新加权或重新采样。其次，作者提出了一个简单而有效的训练计划，将重新加权推迟到初始阶段之后，允许模型学习初始表示，同时避免与重新加权或重新采样相关的一些并发问题。作者在几个基准视觉任务上测试了该方法，包括真实的不平衡数据集 iNaturalist 2018。实验表明，单独使用这些方法中的任何一种都可以改进现有技术，并且它们的组合实现了更好的性能提升。

论文链接：

https://arxiv.org/abs/1906.07413 代码链接：

https://github.com/kaidic/LDAM-DRW

三

论文题目：

Design Space for Graph Neural Networks 论文摘要：

图神经网络 (GNN) 的快速发展催生了越来越多的新架构和新应用。然而，当前的研究侧重于提出和评估 GNN 相关的特定架构设计，例如 GCN、GIN 或 GAT，而不是研究由不同设计维度的笛卡尔积组成的更一般的 GNN 设计空间，例如层数或聚合函数的类型。此外，GNN 设计通常专门用于单个任务，但很少有人努力了解如何为新任务或新数据集快速找到最佳 GNN 设计。在这里，作者定义并系统地研究了 GNN 的架构设计空间，该空间由 32 种不同预测任务的 315,000 种不同设计组成。作者的方法具有三个关键创新：（1）具有通用的 GNN 设计空间；(2) 具有相似性度量的 GNN 任务空间，以便对于给定的新任务/数据集，可以快速识别性能最佳的架构；(3) 一种高效且有效的设计空间评估方法，可以从大量模型-任务组合中提取知识。作者的主要成果包括：（1）一套用于设计性能良好的 GNN 的综合指南；(2) 虽然针对不同任务的最佳 GNN 设计差异很大，但 GNN 任务空间允许在不同任务之间进行设计迁移；(3) 使用作者的设计空间获得的模型实现了最好的性能。总的来说，作者的工作提供了一种有原则和可扩展的方法，可以从研究针对特定任务的单个 GNN 设计过渡到系统地研究 GNN 设计空间和任务空间。因此，作者发布了 GraphGym，这是一个用于探索不同 GNN 设计和任务的强大平台。GraphGym 具有模块化 GNN 实现、标准化 GNN 评估以及可重复和可扩展的实验管理。

论文链接：

https://proceedings.neurips.cc/paper/2020/hash/c5c3d4fe6b2cc463c7d7ecba17cc9de7-Abstract.html 代码链接：

https://github.com/snap-stanford/graphgym

四

论文题目：

Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning 论文摘要：

学习图中节点集的表示对于从节点作用的发现到链接预测和分子分类的应用来说都至关重要。图神经网络 (GNN) 在图表示学习方面取得了巨大成功。然而，GNN 的表达能力受到 1-Weisfeiler-Lehman (WL) 测试的限制，因此 GNN 为图子结构生成相同的表示，而实际上可能非常不同。最近通过模仿高阶 WL 测试提出的更强大的 GNN 只专注于表示整个图，并且它们的计算效率低下，因为它们不能利用底层图的稀疏性。在这里，作者提出并在数学上分析了一类与结构相关的特征，称为距离编码（DE）。DE 协助 GNN 表示任何节点集，同时提供比 1-WL 测试更严格的表达能力。DE 捕获要学习其表示的节点集与图中每个节点之间的距离。为了捕获距离，DE 可以应用各种图距离度量方法，例如最短路径距离或广义 PageRank 分数。作者提出了两种 GNN 使用 DE 的方法（1）作为额外的节点特征，以及（2）作为 GNN 中消息聚合的控制器。这两种方法都可以利用底层图的稀疏结构，从而提高计算效率和可扩展性。作者还证明 DE 可以区分嵌入在几乎所有常规图中的节点集，而传统 GNN 则常常失败。作者在六个真实网络的三个任务上评估 DE：结构功能预测、链接预测和三角预测。结果表明，作者的模型在准确率和 AUROC 方面比没有 DE 的 GNN 高 15%。此外，该模型也明显优于其他专为上述任务设计的最先进方法。

论文链接：

https://arxiv.org/pdf/2009.00142 代码链接：

https://github.com/snap-stanford/distance-encoding