干货 | AAAI 2018入选论文解读:关于网络表示学习的最新研究

AI 科技评论按:以 Facebook、Twitter、微信和微博为代表的大型社交网络的快速发展,产生了海量体现网络结构的数据。如何用合理的方式表示这些数据是网络挖掘的关键问题,本文探讨的就是网络的表示学习问题。

在近期 GAIR 大讲堂举办的一期关于网络表示学习的直播中,来自浙江大学本科三年级的冯瑞同学讲解了关于网络表示学习的相关知识,以及他最新入选 AAAI 2018 的一篇论文的主要内容。本文根据冯瑞同学的直播分享整理记录,有删减,推荐大家点击阅读原文观看 GAIR 大讲堂提供的视频回放。

冯瑞,浙江大学本科三年级,ZJU DCD 实验室实习。AAAI 2018 入选论文一作。

分享主题:网络的学习表示

分享提纲:

  • 网络的表示学习问题和经典算法介绍
  • 欧式空间中保持无标度特性的可能性
  • 针对无标度网络表示学习的优化策略
  • 可保持时序信息的网络表示学习模型

社交网络中的表示学习

如何用合理的方式表示数据是网络挖掘的关键问题,表示学习的目的是为网络中的每一个节点分配一个某个线性空间中(比如欧式空间)的向量,使得这些向量能够保持原来网络的结构信息。接下来的分享内容讨论表示学习的诸多问题,比如在欧式空间中的无标度网络的表示学习,讨论是否保持网络的无标度特性,并对此优化以提高向量的表示能力。我们同时还讨论如何处理网络时序序列,使得表示向量能够保持时序信息。

什么是图嵌入

图嵌入是给图中的点找到一个映射,给每一个点分配一个向量表示。

图嵌入的应用

网络挖掘里经常会用到这项技术进行边的预测,节点的聚类,节点的分类。

关于社交网络的表示学习

社交网络最主要的特性是它是一个动态网络。社交网络是一个不断演进的过程,或者称为网络的时间序列。如果只看某一个时间的静态网络是不能反映全部的网络信息的。

接下来介绍这个模型就是解决这个问题,怎么把持续的信息加入到图嵌入中。它能反映用户之间的交互,信息传递的过程,用户之间的关系等特征。

复杂网络的另一个特征是它是一个无标度(scale-free)网络。关于无标度网络的介绍可以观看视频。

第一个模型是Dynamic Network embedding。下面是A和B的拓扑特征图。从图中,连接A的几个节点,相互之间也有了连接,可以看出A的影响力比B大。

上图中的演变过程是闭三角形过程。开三角形演变为闭三角形取决于K的影响力。

同时有多个开三角形演变为闭三角形的概率如何计算。

模型训练过程

关于应用

分别在移动网络,学术网络,服务器网络上进行了应用。在移动网络上判断是否电信欺诈,在网贷网络上判断用户是否还钱,在服务器网路上判断网络是否会崩溃。

网络重建和边预测

网络重建是给两个节点去预测两个节点间是否有条边。边预测是看是否能预测在未来某个时间是否出现一条边。

实验同时,使用了四个模型对照,Deepwork,TNE(Temporal Network Embedding) ,Node2vec,Dynamic Triad模型对照。

实验结果

下面来看无标度网络的表示学习

无标度网络的性质

上图中(a)表示原来网络的度分布,(b)的算法高估网络度比较高的点的概率,(c)是我们模型得到优化后的效果。

理论分析

论文中的解决方案

网络映射方法要保持一度和二度临近。如果两个节点有边就是一度临近。两个节点有很多公共邻节点成为二度临近。一个节点如果度很高的话,需要惩罚相邻节点的相似度。

两个模型,第一个是DP-Spectral(degree penalty based spectral embedding ),基于光谱嵌入的度惩罚。

第二个是DP-Walker,(Degree Penalty based Random Walk)基于随机游动的度惩罚。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-02-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏奇点大数据

最前沿:从虚拟到现实,DRL 让小狗机器人跑起来了

深度增强学习 DRL 在仿真机器人已经取得了很大的成功,同时,也在真实的机器人抓取(Robotic Manipulation)问题上有了很大的进展。然而依然会有...

463
来自专栏AI科技评论

深度 | 微软亚洲研究院刘铁岩博士:迎接深度学习的“大”挑战(下)

AI科技评论按:本文根据刘铁岩博士在中国人工智能学会AIDL第二期人工智能前沿讲习班*机器学习前沿所作报告《迎接深度学习的“大”挑战》编辑整理而来,发文前已得到...

33610
来自专栏新智元

【Quora精彩问答】机器学习的十条金科玉律

【新智元导读】曾在 Endeca, Google, LinkedIn 负责机器学习项目的 Daniel Tunkelang 在 Quora 上发表了给非专业人士...

3608
来自专栏人工智能

自然语言处理如何快速理解?有这篇文章就够了!

原文来源:codeburst.io 作者:Pramod Chandrayan 「雷克世界」编译:嗯~阿童木呀、我是卡布达 现如今,在更多情况下,我们是以比特和字...

75115
来自专栏云时之间

什么是机器学习

什么是机器学习 机器学习是一帮计算机科学家想让计算机像人一样思考所研发出的计算机理论,他们曾经说过,人和计算机本身没有区别,同样都是一大批互相连接的信息传递和...

37610
来自专栏IT派

机器学习入门知识体系

IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 随着2016年Alpha Go在围棋击败李世石,2017年初卡内基梅隆大学人工智能系统Lib...

4366
来自专栏AI研习社

Geoffrey Hinton | 深度学习之父的神经网络第五课!(中文字幕)

作为深度学习祖师,Geoffrey Hinton 的每一句每一言,都使学习者如奉纶音。浓缩其毕生所学的《Neutral Network for Machine ...

3387
来自专栏EAWorld

拥抱人工智能,从机器学习开始

自“阿尔法狗”(AlphaGo)完胜人类围棋顶尖高手后,有关人工智能(AI)的讨论就从未停歇。工业4.0方兴未艾,人工智能引领的工业5.0时代却已悄然苏醒。人工...

923
来自专栏专知

【AlphaGo核心技术-教程学习笔记03】深度强化学习第三讲 动态规划寻找最优策略

点击上方“专知”关注获取更多AI知识! 【导读】Google DeepMind在Nature上发表最新论文,介绍了迄今最强最新的版本AlphaGo Zero,不...

3387
来自专栏镁客网

深入学术研究,物理学家用VR演示弦理论猜想

1184

扫描关注云+社区