AAAI 2018 | 腾讯提出自适应图卷积神经网络,接受不同图结构和规模的数据

选自arXiv

作者:Ruoyu Li等

机器之心编译

参与:路雪

近日,AAAI 2018 发布接收论文列表,腾讯 AI Lab 共入选 11 篇。在论文《Adaptive Graph Convolutional Neural Networks》中,腾讯联合德克萨斯大学阿灵顿分校提出自适应图卷积神经网络 AGCN,可接受任意图结构和规模的图作为输入。

论文:自适应图卷积神经网络(Adaptive Graph Convolutional Neural Networks)

论文链接:https://arxiv.org/pdf/1801.03226.pdf

摘要:图卷积神经网络(Graph CNN)是经典 CNN 的推广方法,可用于处理分子数据、点云和社交网络等图数据。Graph CNN 中的的滤波器大多是为固定和共享的图结构而构建的。但是,对于大多数真实数据而言,图结构的大小和连接性都是不同的。本论文提出了一种有泛化能力且灵活的 Graph CNN,其可以使用任意图结构的数据作为输入。通过这种方式,可以在训练时为每个图数据构建一个任务驱动的自适应图(adaptive graph)。为了有效地学习这种图,我们提出了一种距离度量学习方法。我们在九个图结构数据集上进行了大量实验,结果表明我们的方法在收敛速度和预测准确度方面都有更优的表现。

引言

尽管卷积神经网络(CNN)被证明可成功解决大量机器学习问题(Hinton et al. 2012; Dundar et al. 2015),但是它们通常要求输入为张量。比如,图像和视频被分别建模为 2-D 和 3-D 张量。但是,在很多真实问题中,数据所在的栅格(grid)不规则或者非欧几里德域(non-Euclidean domain),如化学分子、点云和社交网络。相比于规则的张量,这些数据更适合被建构为图,从而能够处理不同的近邻顶点连接性(neighborhood vertex connectivity)和非欧几里德度量。在这种情况下,支持在栅格上进行卷积的平稳性和复合性无法再得到满足。因此,在图结构数据上重构卷积算子是必要的。

但是,把 CNN 从规则栅格扩展到不规则栅格并不容易。为了简洁地构建卷积核,早期 Graph CNN 假定数据仍然是低维的(Bruna et al. 2013; Henaff, Bruna, and LeCun 2015)。由于卷积器根据节点度(node degree)区别处理各个节点,卷积核过分关注于局部而不灵活,无法学习复杂图(带有无法预测且灵活的节点连接性,如分子和社交网络)的层次表征。

当前 graph CNN 遇到了以下瓶颈问题:

  • 图度(graph degree)受限;
  • 输入数据必须共享同样的图结构;
  • 图固定,且非通过训练学得;
  • 无法从拓扑结构中学习。

本文提出了一种新型频谱图卷积网络(Spectral Graph CNN),输入可以是多种图结构的原始数据,如包含不同数量苯环的有机分子。因此,该网络不使用共享频谱核,而是给批量中的每个样本一个特定的图拉普拉斯 矩阵(Graph Laplacian),客观描述其独特拓扑结构。根据其独特的图拓扑,定制化图拉普拉斯算子将带来定制化的频谱滤波器。

研究哪种图最适合某种监督学习任务是很有意思的。例如,化学键自然地为化合物构建出一个内在图。但是,它无法保证内在图上的卷积器能够提取所有有意义的特征。因此,我们训练了一个「残差图」(residual graph)以发现内在图不包含的残差子结构。此外,为了确保残差图是特定任务的最佳补充,我们设计了一个机制在训练其余 Graph CNN 时学习残差图。

我们在多个图结构数据集上 验证本文提出的频谱卷积网络,数据集包括化学分子、LIDAR 生成的点云。Graph CNN 的创新之处如下:

1. 构建独特的图拉普拉斯算子。为一个批量中的每个样本构建和学习独特的残差拉普拉斯矩阵,将学得的残差图拉普拉斯算子添加到初始图上。

2. 学习用于生成残差图的距离度量。通过学习共享的最优距离度量参数,图的拓扑结构随着预测网络的训练而更新。学习的复杂度独立于输入规模,成本仅相当于

3. 卷积中的特征嵌入。在卷积前,先进行顶点特征变换,使得顶点内不同特征之间和不同顶点特征均联系起来。

4. 接受灵活的图输入。由于 1 和 2,本文提出的网络可以输入不同的图结构和图大小,对图度没有限制。

方法

SGC-LL 层

SGC-LL 层的运算如算法 1 所述:

AGCN 网络

图 3:AGCN 网络配置。把原始图结构数据和初始图直接输入该网络。

结论

我们提出了一种新型的基于自适应图的频谱图卷积器(SGC-LL)。SGC-LL 学习最优距离度量和特征变换,进而学习残差图拉普拉斯矩阵(Residual Graph Laplacian)。目前,AGCN 是首个允许任意图结构和规模的频谱 Graph CNN。残差图拉普拉斯的监督式训练使得模型更适合预测任务。在不同图结构数据上的大量多任务学习实验表明,不同预测任务上 AGCN 优于之前顶尖的 Graph CNN。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-01-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏林欣哲

自然语言处理--特征提取

自然语言中意义最小的单位就是单词,其次是句子,再是段落,最后一整篇文章。 通常来说,提取单词的特征是最常用的提取方法。当然,特征提取也是根据你看问题的角度的来决...

47390
来自专栏专知

【干货】基于注意力机制的神经匹配模型用于短文本检索

【导读】在基于检索的问答系统中,很重要的一步是将检索到的答案进行排序得到最佳的答案。在检索到的答案比较短时,对答案进行排序也成为了一个难题。使用深度学习的方法,...

85580
来自专栏华章科技

94页论文综述卷积神经网络:从基础技术到研究前景

导读:卷积神经网络(CNN)在计算机视觉领域已经取得了前所未有的巨大成功,但我们目前对其效果显著的原因还没有全面的理解。近日,约克大学电气工程与计算机科学系的 ...

8120
来自专栏数据派THU

【独家】一文读懂聚类算法

1. 聚类的基本概念 1.1 定义 聚类是数据挖掘中的概念,就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能...

40170
来自专栏企鹅号快讯

腾讯提出自适应图卷积神经网络,接受不同图结构和规模的数据

选自arXiv 作者:Ruoyu Li等 机器之心编译 参与:路雪 近日,AAAI 2018 发布接收论文列表,腾讯 AI Lab 共入选 11 篇。在论文《A...

42860
来自专栏自学笔记

机器学习可行性与VC dimension

在银行评估贷款申请人的授信请求前,会进行风险评估。符合申请则通过,反之驳回。长时间的数据和申请使得银行从中找到了一些规律并开始learning,所以风险评估就是...

32340
来自专栏目标检测和深度学习

「数据科学家」必备的10种机器学习算法

可以说,机器学习从业者都是个性迥异的。虽然其中一些人会说“我是X方面的专家,X可以在任何类型的数据上进行训练”,其中,X =某种算法;而其他一些人则是“能够在适...

28550
来自专栏Data Analysis & Viz

Text-CNN、Word2Vec、RNN、NLP、Keras、fast.ai-20180504

本文集仅为收录自己感兴趣、感觉不错的文章与资源,方便日后查找和阅读,所以排版可能会让人觉得乱。内容会不断更新与调整。文中涉及公众号的文章链接可以会失效,知道如何...

27520
来自专栏机器之心

就喜欢看综述论文:情感分析中的深度学习

67490
来自专栏人工智能

自然语言处理的神经网络模型初探

深度学习(Deep Learning)技术对自然语言处理(NLP,Natural Language Processing)领域有着巨大的影响。

1.2K110

扫码关注云+社区

领取腾讯云代金券