斯坦福尤佳轩 | EMPOWERING DEEP LEARNING WITH GRAPHS

快速熟悉一个领域的好方法是阅读该方向顶级院校刚毕业PhD的博士论文。

入门图机器学习的同学建议读一下斯坦福尤佳轩的博士论文《EMPOWERING DEEP LEARNING WITH GRAPHS》。

链接：https://stacks.stanford.edu/file/druid:mz469rn9516/PhD_thesis_final_Jiaxuan-augmented.pdf

深度学习重塑了人工智能的研究和应用。现代深度学习模型主要是为规则结构的数据设计的，如序列和图像。这些模型是为将这些规则结构的数据作为输入(例如分类、回归)、作为输出(例如生成)或作为结构先验(例如神经架构设计)的任务而建立的。然而，并非所有形式的数据都是规则结构的。一个值得注意的例子是图结构数据，这是一种通用而强大的数据结构，它以简洁的形式表示实体及其关系。虽然图结构数据在自然和社会科学中无处不在，但它是离散的和非i.i.d的。大自然给现代深度学习模型带来了独特的挑战。

本文旨在通过促进深度学习模型将图作为输入、输出和先验，以图结构数据为深度学习赋能。我在这三个方向的研究为深度学习的研究开辟了新的前沿:(1)基于深度学习的图学习。开发了具有表现力的有效深度学习方法，可以将图作为输入，促进了图的学习和理解。(2)基于深度学习的图生成。用深度学习模型规范了图的生成过程，促进了图的发现和设计。(3)图作为深度学习的先验。发现图结构可以作为神经架构和机器学习任务的强大先验，为深度学习的设计和理解打开了一个新的方向。讨论了上述技术的广泛应用，包括推荐系统、药物发现、神经架构设计和缺失数据填补。

https://searchworks.stanford.edu/view/13980667

1.1 动机

在大数据时代，深度学习已经成为从数据中挖掘价值的主要工具。例如，深度学习为人脸识别(使用图像数据)、机器翻译(使用文本数据)和语音识别(使用音频数据)等关键应用程序提供了强大的功能。与传统的机器学习技术相比，深度学习代表了一种基于大规模数据集的自动化学习模式。此外，深度学习得益于指数级增长的计算资源和网络规模的数据收集。由于这些原因，深度学习在研究和行业中得到了广泛的普及。

现代深度学习模型主要是为文本和图像等规则结构数据设计的。例如，递归神经网络(rnn)[38,88]和变压器[228]设计用于具有确定性排序的序列数据，卷积神经网络(CNNs)[84,120]设计用于网格类数据。数据规律性的假设不仅导致了专门的高性能深度学习架构，而且简化了深度学习管道的软硬件实现，这有助于深度学习的成功。

然而，并不是所有形式的数据都是规则结构的。在本文中，我们特别关注图结构数据。图是一种通用的、功能强大的数据结构，它以简洁的形式表示实体及其关系。图结构数据在自然科学和社会科学中无处不在。例如，一个分子可以表示为一个图，其中原子是节点，化学键是边，一个社交网络可以表示为一个图，其中成员是节点，他们的友谊关系是边。尽管图结构数据无处不在，但它给深度学习模型带来了独特的挑战，总结如下:

• 复杂的拓扑结构。图中的节点可以任意地相互连接;因此，深度学习模型必须适应输入数据的形状/结构。此外，所有可能图的空间是巨大的，因为有

个具有n个节点的可能简单图;因此，将图映射到有意义的低维嵌入是极具挑战性的。

• Non-i.i.d。大自然。由于给定节点的语义意义取决于它与整个图的连通性，因此我们不能将不同的节点视为i.i.d.分布的。因此，深度学习中广泛采用的标准随机梯度下降优化方法不能直接作用于图（对于图级任务，可以直接使用随机梯度下降法。在这里，整个图被视为单个数据点，通常假设为i.i.d）。
• 排列不变的性质。图是一个无序的数据对象，它要求所有的深度学习算子对节点的排序不变量。

在本文中，我们的目标是用图结构数据增强深度学习。我们的愿景是为图形结构数据构建一个表达性强、使用方便的深度学习框架。我们希望这样一个框架可以将深度学习在规则结构化数据上的成功转化为图结构数据，图结构数据代表了更通用、更灵活的数据格式。同时，我们将展示一个成功的图的深度学习框架，进而推动深度学习研究的总体进展。为了实现这些目标，我们建议赋予深度学习框架以能力，使其能够将图作为输入、输出和先验。图1.1总结了三个研究方向。

1. 图形作为输入。我们开发了富有表现力和有效的深度学习方法，可以将图形作为输入，促进图形的学习和理解。

2. 作为输出的图形。我们使用深度学习模型阐明图的生成过程，这促进了图的发现和设计。

3.图作为先验。我们发现图结构可以作为神经结构和机器学习任务的强大先验，这为深度学习的设计和理解开辟了一个新的方向。