ICLR 2020丨克服“邻点爆炸式增长”，开启新视角下的通用训练框架

ICLR 2020 系列论文解读公开课第十二期。 AI科技评论出品

本次视频解读为【ICLR 2020 系列论文解读公开课】第十二期。

南加州大学的曾涵清博士在 ICLR 2020 上发表了论文《 GraphSAINT: Graph Sampling Based Inductive Learning Method》，我们邀请曾博士为我们带来关于“基于子图采样，在大规模图数据上实现高效、准确的图神经网络训练”的分享。分享视频为英文。

随着图表征学习的迅猛发展，图神经网络（GNN）在各类的现实任务中正得到广泛应用。基于图卷积算子的神经网络在推荐系统，计算机视觉，自然语言处理等领域均已取得准确率上的突破。另一方面，计算复杂度而言，图神经网络仍然无法在不损失精度的前提下高效地被拓展到大于两层的模型。

由于GNN从设计上会不断地聚合图中相邻节点的信息，则L-层的GNN中每个目标节点都需要聚合原图中L-hop以内的所有节点信息 --- 在大图中，邻节点的个数可以随着L指数级增长！这种“邻点爆炸式增长”使得GNN的minibatch训练极具挑战性。

大部分现有工作都在探索如何通过对GNN每层的节点进行采样，以降低训练成本。而我们的工作（GraphSAINT）通过一种截然不同的采样的视角，提出了适用于大图以及深层网络的，通用的训练框架。GraphSAINT基于极其轻量级的子图采样算法，同时实现了在准确率和复杂度上的显著提升。在标准的Reddit数据集上，我们以100倍的训练时间提速，提高了1% 以上的准确率。

论文

论文地址：

https://openreview.net/forum?id=BJe8pkHFwS

代码：

https://github.com/GraphSAINT/GraphSAINT

讲师介绍

曾涵清

本科毕业于香港大学电子工程系，现为南加州大学计算机工程方向博士生。一般的科研兴趣为深度学习的优化和加速，目前的主要关注点为大规模图表征学习。发表的工作（ICLR 2020，ACM/FPGA 2020，IEEE/IPDPS 2019）从采样算法，并行计算以及硬件加速的不同角度显著提升了大图上神经网络的训练和推理的性能。前期的工作（ACM/FPGA 2018最佳论文提名，IEEE/FPL 2019最佳论文提名，IEEE/HiPC 2019）提出了卷积神经网络的模型压缩和硬件加速的框架。

Poster展示