专栏首页MixLab科技+设计实验室图卷积神经网络,为图与数据分类提供向导 | 数学博士 · 科普专栏

图卷积神经网络,为图与数据分类提供向导 | 数学博士 · 科普专栏

Steven Hou 前言

如今深度学习技术渗透到现实世界的每一个角落,传统理工科方向纷纷靠拢深度学习,最终他们是否也能席卷设计人文等等学科呢?

我坚信利用最先进的深度学习方法结合特有问题的领域知识,才能达到未来。这也是我希望实现的泛 AI 范式。

所以这个专栏只介绍近三年最先进的最有趣的深度学习算法,欢迎一切持有特有问题的领域知识,并对泛 AI 开发感兴趣的小伙伴加入文末读者群联系我。


数据可分为:欧几里德数据与非欧几里德数据。

欧几里德数据可以由规整的矩阵进行表示,常见的数据为图片,语音,自然语言等。非欧几里德数据为结构化数据,主要有图数据,流形数据。

现实世界,许多重要的数据都以图的形式出现:社交网络,知识图谱,蛋白质相互作用网络等。

这就是一个正规的非欧几里德图数据,每个人表示一个节点 V,人与人之间存在的关系(比如人与人之间微博相互关注,微信是好友等)表示一条边 E,从而将整体结构化数据抽象为一个数学上的图 G(V,E)。

将图的研究问题分为三类:

1- 对节点进行分类。

如判断社交网络中,你是否属于某个团体,贴标签的行为。

2- 对边进行预测。

如判断社交网络中两个人是否是好友。

3- 对整个图进行分类。

对整个社交网络的类型进行分类。

深度学习在过去引发了人工智能的革命,同时极大地促进了各种学科的泛AI化。

以深度神经网络为模型,并通过后向传播算法进行参数更新的深度学习算法,在计算机视觉,自然语言处理,推荐系统等领域彻底战胜了机器学习加特征提取的传统范式。最近,大量研究者将注意力集中在:将深度神经网络模型推广到结构化数据集上。

本文主要介绍一种通用的图数据的深度学习结构——图卷积神经网络

图卷积神经网络思路来源于计算机视觉中最常用的卷积神经网络泛化到图上。卷积运算在泛函分析中的定义如下:

卷积运算实质上定义了一种新的运算,即将一个函数g(卷积核)翻转与另一个函数f(信号或特征)相乘后积分。因为图数据(此处给出图片)无法给出对称结构,节点的邻居个数无法确定,因此卷积核参数的个数无法适应邻居个数的不规则,导致了普通的卷积神经网络无法直接应用。

借助于如下所示的卷积定理:

F(f)为对f函数进行傅里叶变换,因此,我们可以对卷积运算简化为两个函数的傅里叶变换的乘积再作傅里叶逆变换。

数学中,傅里叶变换及其逆变换公式如下:

由上述公式可知,傅里叶变换实际上是将信号映射到一组的基向量空间上。因此,对应图信号,我们需要做的依然是找到可以映射的正交基向量。因此,我们将图上的关系表征——拉普拉斯矩阵,进行谱分解,用拉普拉斯矩阵的特征向量U代替传统傅里叶变换的正交基。因此,图上的傅里叶变换定义为:

图傅里叶变换为将图上的特征信号映射到图拉普拉斯矩阵的特征空间中。其逆变换公式如下:

我们有了图信号的傅里叶变换后,自然可以带入到卷积定理中,因此,图数据的卷积公式如下:

至此,我们将传统卷积公式推广至了图数据之上。经过切比雪夫多项式近似后,单层图卷积计算公式如下:

此模型可以使用1阶切比雪夫多项式进行近似,最终可以得到图卷积神经网络的特征传播公式如下:

使用简单的图卷积神经网络模型在著名的图数据集:Zachary空手道俱乐部网络(这是一个传统的社交网络,由34名成员组成,并记录俱乐部外部互动的成员之间的成对边。)上进行节点的分类,即区分俱乐部随后分为的两个社区,由教员(节点0)和俱乐部主席(节点33)领导的两伙成员。

采用随机初始化权重的三层GCN。将图信号定义为简单的单位矩阵。三层GCN在正向传递过程中执行三次邻居节点间信息传播步骤,并有效地卷积每个节点的三阶邻域,最终可以实现及其优秀的分类效果。

网络的可视化如下,其颜色指示不同的团伙:

关于这个主题的研究现在十分火热,在各大机器学习顶级会议上出现了令人兴奋的发展,这篇文章对图上卷积神经网络进行了数学上的详尽回顾。后期会用简单的代码重现这种图上卷积的信息传递过程,以及介绍图卷积神经网络的最新发展。

专栏作者:Steven Hou

本文分享自微信公众号 - 无界社区mixlab(mix-lab)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 178页,四年图神经网络研究精华,图卷积网络作者Thomas Kipf博士论文公布

    在深度学习领域,图神经网络早已成为热门话题。去年年底,有人统计了 2019 年到 2020 年各大顶会提交论文关键词的数据。结果显示,「graph neural...

    机器之心
  • 魔都AI圣战者联盟第二次分享会圆满召开

    魔都AI圣战者联盟(League of AI Mujahideen in Shanghai) 是由上海的AI行业从业者发起的民间组织。目前联盟主要成员为从...

    Amusi
  • 资源 | 李沐等人开源中文书《动手学深度学习》预览版上线

    近日,由 Aston Zhang、李沐等人所著图书《动手学深度学习》放出了在线预览版,以供读者自由阅读。这是一本面向在校学生、工程师和研究人员的交互式深度学习书...

    数据派THU
  • 【AI大咖】再认识Yann LeCun,一个可能是拥有最多中文名的男人

    Yann LeCun,CNN之父,纽约大学终身教授,与Geoffrey Hinton、Yoshua Bengio并成为“深度学习三巨头”。前Facebook人工...

    用户1508658
  • 从技术小白到老司机,这20本书帮你“快进”20年

    导读:文艺复兴以来,源远流长的科学精神和逐步形成的学术规范,使西方国家在自然科学的各个领域取得了垄断性的优势;也正是这样的优势,使美国在信息技术发展的六十多年间...

    华章科技
  • 147页详述「结构在神经网络中的复兴」,图注意力网络一作博士论文公开

    在一项针对 2019 年到 2020 年各大顶会论文关键词的统计中,「图神经网络」的增长速度位列榜首,成为上升最快的话题。

    yuquanle
  • KDD2016论文亮点解析(一)

    导读:KDD2016是首屈一指的跨学科会议,它聚集了数据科学,数据挖掘,知识发现,大规模数据分析和大数据方面的研究人员和从业人员。 论文一题目:稳定流体近似的卷...

    AI科技评论
  • AI综述专栏 | 11页长文综述国内近三年模式分类研究现状(完整版附PDF)

    在科学研究中,从方法论上来讲,都应先见森林,再见树木。当前,人工智能科技迅猛发展,万木争荣,更应系统梳理脉络。为此,我们特别精选国内外优秀的综述论文,开辟“综述...

    马上科普尚尚
  • 中科院「脑科学与人工智能」论坛,四场报告概要+两大研究方向解读+两项专题讨论实录

    机器之心报道 编辑:夏亚妹妹、蒋思源 5 月 8 日,由中国科学院学部主办的「脑科学与人工智能」科学与技术前沿论坛召开,本论坛从脑科学如何支持人工智能的发展和类...

    机器之心

扫码关注云+社区

领取腾讯云代金券