专栏首页arxiv.org翻译专栏学习丢弃:基于拓扑去噪的鲁棒图神经网络(CS AI)
原创

学习丢弃:基于拓扑去噪的鲁棒图神经网络(CS AI)

形神经网络已被证明是图形分析的强大工具。关键思想是沿着给定图的边递归地传播和聚集信息。尽管已经取得了成功,但是现有的神经网络通常对输入图的质量很敏感。真实世界的图通常是有噪声的,并且包含与任务无关的边,这可能导致学习的GNN模型的次优泛化性能。本文提出了一种参数化拓扑去噪网络PTDNet,通过学习删除与任务无关的边来提高神经网络的鲁棒性和泛化性能。PTDNet通过用参数化网络惩罚稀疏图中的边数来修剪与任务无关的边。为了考虑整个图的拓扑结构,核范数正则化被应用于对所得到的稀疏图施加低秩约束,以便更好地推广。PTDNet可以作为GNN模型中的一个关键组件来提高其在各种任务上的性能,例如节点分类和链路预测。在合成数据集和基准数据集上的实验研究表明,PTDNet可以显著提高神经网络的性能,对于噪声较大的数据集,性能增益会更大。

原文题目:Learning to Drop: Robust Graph Neural Network via Topological Denoising

原文:Graph Neural Networks (GNNs) have shown to be powerful tools for graph analytics. The key idea is to recursively propagate and aggregate information along edges of the given graph. Despite their success, however, the existing GNNs are usually sensitive to the quality of the input graph. Real-world graphs are often noisy and contain task-irrelevant edges, which may lead to suboptimal generalization performance in the learned GNN models. In this paper, we propose PTDNet, a parameterized topological denoising network, to improve the robustness and generalization performance of GNNs by learning to drop task-irrelevant edges. PTDNet prunes task-irrelevant edges by penalizing the number of edges in the sparsified graph with parameterized networks. To take into consideration of the topology of the entire graph, the nuclear norm regularization is applied to impose the low-rank constraint on the resulting sparsified graph for better generalization. PTDNet can be used as a key component in GNN models to improve their performances on various tasks, such as node classification and link prediction. Experimental studies on both synthetic and benchmark datasets show that PTDNet can improve the performance of GNNs significantly and the performance gain becomes larger for more noisy datasets.

原文作者:Dongsheng Luo1, Wei Cheng2, Wenchao Yu, Bo Zong, Jingchao Ni, Haifeng Chen, Xiang Zhang

原文地址:https://arxiv.org/abs/2011.07057

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 光谱和的量子算法(CS AI)

    我们提出并分析了估计对称正定矩阵最常见谱和的新量子算法。对于函数f和矩阵A ∈ Rn×n,谱和定义为Sf(A) := Tr[f(A)] =P jf(λj),其中...

    识檐
  • 具有自修改能力的有界理性代理的性能(CS AI)

    嵌入在复杂环境中的代理的自我修改是难以避免的,无论是通过直接手段(例如,自己的代码修改)还是间接手段(例如,影响操作员、利用漏洞或环境)。虽然有人认为智能代理有...

    识檐
  • 保守性降低的非线性模型的线性变参数嵌入(CS SC)

    本文提出了一种将非线性系统的动力学描述嵌入到线性参数变化(LPV)系统表示中的系统方法。最初,模型表示中的非线性函数使用多元多项式回归来近似。考虑到近似的残差作...

    识檐
  • 使用社交媒体上粉丝的帖子来衡量品牌之间的相似性(Multimedia)

    在这篇论文中,我们提出了一种新的测量方法,通过社交网络服务(SNS)上的品牌追随者的帖子来估计品牌之间的相似性。我们的方法是为了探索客户可能共同购买的品牌而开发...

    李欣颖6837176
  • Intro Guide to Dockerfile Best Practices

    There are over one million Dockerfiles on GitHub today, but not all Dockerfiles ...

    追马
  • Quant求职系列:Jane Street烧脑Puzzle(2019-2020)

    全球顶尖的自营交易公司Jane Street创立于1999年,其对自己的描述是:“a quantitative trading firm and liquidi...

    量化投资与机器学习微信公众号
  • 生产中怠速能耗最小化:工业实例与数学模型(CS.CE)

    本文以实际钢铁淬火生产过程为背景,研究了最小化机床闲置能耗的调度问题。当机器处于空闲状态时,通过将机器切换到某种节电模式来实现能量最小化。对于钢的硬化过程,机械...

    用户7236395
  • 【CS224N笔记】一文详解神经网络来龙去脉

    我们输入一个向量并且通过一系列的逻辑回归函数,我们可以得到一个输出向量,但是我们不需要提前决定,逻辑回归试图预测的向量是什么

    zenRRan
  • Computational Geometry in Python

    This post is a simplified version of the accompanying notebook to chapter 6 of m...

    周星星9527
  • Palabos Tutorial 1/3: First steps with Palabos

    The following tutorial provides an overview of the C++ programmer interface of t...

    周星星9527

扫码关注云+社区

领取腾讯云代金券