精选论文 | 图深度学习【附打包下载】

论文推荐

近年来，针对深度神经网络存在的局限性，用于处理非欧式空间数据、刻画变量间复杂关系的图深度学习成为新一轮的研究热潮。6月16日（周日），《SFFAI 33-图深度学习》两位主讲嘉宾（呼奋宇、常建龙）为大家精选了图深度学习在池化操作、归纳学习以及深度网络关系建模的几篇代表性工作，和大家一起分享最新的研究进展。

你可以认真阅读，来现场和讲者面对面交流哦。

1

推荐理由：Kipf和Welling提出的GCN是一个经典的工作，它可以近似看成是把一阶邻居节点求和，进而得到中心节点的表达。但是GCN模型仅有2层，当层数加深后精度会明显下降。这篇文章证明了GCN本质上是一种拉普拉斯平滑，它会使得同一个连通分量里的所有节点的表达变得相似。因此当层数加深时，会造成“过度平滑”，即同一个连通分量里的节点会变得很难区分。

推荐理由来自：呼奋宇

2

推荐理由：这篇文章的想法很新颖，它的任务对对整体的图结构进行分类，为了得到全局的特征，它设计了一个层次化的图神经网络来逐层提取特征。本文提出了可微分池化的思想，对于每层神经网络得到的表达，它用学习的方式学出一个池化矩阵，并用该矩阵对每层得到的表达进行池化操作。

荐理由来自：呼奋宇

3

推荐理由：这篇文章的出发点也是为了增大感受野，因此设计了粗化机制逐层减小图数据的规模。对于粗化后得到的最小的特征图，作者先使用了传统的无监督学习的方法，如DeepWalk，Line得到每一个节点的表达，这样学出来的表达可以更多地捕获全局信息。然后，再使用对应的还原机制把特征图逐层还原，在每一次还原后都使用无监督方法继续更新节点的表达。在不同的实验数据库上均表明所提方法的有效性。

荐理由来自：呼奋宇

4

推荐理由：2018年DeepMind和Google Brain提出的graph networks的一个统一架构，基本上包括了常用的图网络模型。本文通过定义的归纳偏置来将不同的深度神经网络建模到一个框架下。

推荐理由来自：常建龙

5

推荐理由：DARTS是DeepMind和CMU的论文，被ICLR2019接受。本文的核心思想是通过以可微的方式进行结构搜索。与传统的在离散的和不可微的搜索空间上采用进化或强化学习搜索结构的方法不同，本文的方法是基于将结构表示的松弛（relaxation），允许使用梯度下降高效搜索架构。在CIFAR-10，ImageNet，Penn Treebank和WikiText-2上进行了大量实验，表明本文的算法擅长于发现用于图像分类的高性能卷积结构和用于语言建模的循环神经网络结构，同时比现有技术的非微分搜索技术要快几个数量级。

推荐理由来自：常建龙