【KDD】四篇好文简读-专题3

一

论文题目：

MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge 论文摘要:

近年来，利用图神经网络(GNNs)在生物医学领域解决药物相关问题的研究发展迅速。然而，与其他深度学习架构一样，GNN需要大量数据。虽然在现实世界中要求标签通常是昂贵的，但以无人监督的方式预先训练GNN已经得到了积极的探索。其中，图对比学习通过最大化成对图增广之间的互信息，已被证明对各种下游任务是有效的。然而，目前的图形对比学习框架有两个局限性。首先，这些增广是为一般图形设计的，因此对某些领域可能不适合或不够强大。其次，对比方案只学习对局部扰动不变的表示，因此不考虑数据集的全局结构，这也可能对下游任务有用。因此，在本文中，作者在生物医学领域的背景下研究图对比学习，在生物医学领域中，分子图是存在的。作者提出了一种新的框架，称为MoCL，它利用局部和全局的领域知识来辅助表示学习。局部级域知识指导增广过程，从而在不改变图语义的情况下引入变化。全局级知识对整个数据集中的图之间的相似性信息进行编码，有助于学习具有更丰富语义的表示。整个模型都是通过双重对比目标来学习的。在线性和半监督两种设置下，作者在不同的分子数据集上对MoCL进行了评估，结果表明MoCL达到了最先进的性能。

论文链接：

https://arxiv.org/abs/2106.04509 Github:

https://github.com/illidanlab/MoCL-DK

二

论文题目：

Structure-aware Interactive Graph Neural Networks for the Prediction of Protein-Ligand Binding Affinity

论文摘要:

药物发现往往依赖于对蛋白质-配体结合亲和力的成功预测。最近的进展表明，通过学习蛋白质-配体复合物的表征，应用图神经网络（GNNs）进行更好的亲和力预测具有很大的前景。然而，现有的解决方案通常将蛋白质-配体复合物视为拓扑图数据，因此生物分子结构信息没有得到充分的利用。在GNN模型中，原子间的基本长距离相互作用也被忽略了。为此，作者提出了一个结构感知的交互式图神经网络（SIGN），它由两个部分组成：极坐标图注意层（PGAL）和成对交互式池化层（PiPool）。具体来说，PGAL迭代地执行节点-边缘聚合过程，更新节点和边缘的嵌入，同时保留原子之间的距离和角度信息。然后，PiPool被用来收集交互式边，并通过后续的重建损失来反映全局的相互作用。对两个基准数据集的详尽实验研究验证了SIGN的优越性。

论文链接：

https://arxiv.org/abs/2107.10670

Github: https://github.com/PaddlePaddle/PaddleHelix/tree/dev/apps/drug_target_interaction/sign

三

论文题目：

Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts 论文摘要：

基于神经架构的多任务学习已成功应用于许多现实世界的大规模应用，例如推荐系统。在电影推荐中，除了为用户提供他们倾向于购买和观看的电影之外，系统还可能针对用户喜欢的电影进行优化。作者的目标是通过多任务学习建立一个同时学习这些多个目标和任务的单一模型。然而，常用的多任务模型的预测结果往往对任务之间的关系很敏感。因此研究特定任务目标和任务间关系之间的权衡非常重要。在这项工作中，作者提出了一种新颖的多任务学习方法，Multi-gate Mixture-of-Experts (MMoE)，它明确地学习从数据中建模任务关系。通过在所有任务中共享专家子模型，使专家混合 (MoE) 结构适应多任务学习，同时还训练了一个门控网络来优化每个任务。为了验证在具有不同任务相关性级别的数据的方法，作者首先将其应用于控制任务相关的合成数据集。作者指出当任务相关性较低时所提出的方法比基线方法表现更好。作者还表明MMoE 结构会带来额外的可训练性优势，具体取决于训练数据和模型初始化中不同级别的随机性。此外，作者证明了了MMoE 在实际任务上的性能提高，包括二进制分类基准和Google 的大规模内容推荐系统。

论文链接：

https://dl.acm.org/doi/pdf/10.1145/3219819.3220007

四

论文题目：

Self-supervised Heterogeneous Graph Neural Network with Co-contrastive Learning

论文摘要：

这篇文章作者提出了新的用于HGNNs的协同对比学习范式，HeCo。与传统的利用正负样本的对比学习不同，HeCo采用跨视角的对比机制。对HIN作者提出了两种视角，分别是网络范式视角和元路径视角，分别捕获局部和高阶的结构信息。基于这两种视角作者提出了跨视角的对比学习机制，该方法可以从视角中提取正和负的嵌入向量，使得两种视角信息能够协同监督最终学到高阶的节点嵌入。在真实网络中的大量实验结果表明作者的方法可以获得SOTA。

论文链接：

https://arxiv.org/pdf/2105.09111.pdf

代码链接：

https://github.com/liun-online/HeCo