【剑桥大学博士论文】图神经网络的实用处理与加速

在过去的十年中，我们目睹了人们对机器学习(ML)的兴趣急剧上升。深度神经网络已经在从图像分类到游戏玩的各种任务上实现或超过了人类水平。在这些应用中，我们通常观察到模型的输入具有某种形式的规则结构:例如，图像是一个2D网格。最近，人们有兴趣将ML革命的成功扩展到没有统一结构的数据，如图。图由一组节点和一组定义节点之间关系的边组成，为建模提供了极大的灵活性。这些模型应用于从代码分析到推荐系统再到药物发现的各种问题，实现了最先进的性能并为ML打开了新的应用。

由于图神经网络(gnn)已被证明的潜力和可能应用的巨大空间，当我们打算将这些模型部署到研究背景之外时，自然会将注意力转向出现的实际问题。一个主要的问题是效率:我们如何设计消耗更少资源(如时间和内存)的GNN，以将我们的训练扩展到更大的模型和数据集，并将我们的模型部署到更资源受限的设备?此外，一旦我们将这些模型发布到野外，我们如何确保它们能够抵御来自潜在对手的攻击?这些是激励本文工作的问题:哪些新技术是必要的，以解决这些效率和安全问题?

本文中反复出现的一个主题是，正则结构的丢失给GNNs带来了几个独特的挑战:适用于其他常见神经网络架构的技术不一定适用于GNNs。本文首先严格评估了在其他神经网络架构中流行的两种软硬件协同设计技术:量化，在推理时使用低精度的算法，以及剪枝，从网络中删除权重。研究了高效的架构设计，首先是通用gnn的架构设计，其次是专门为处理点云数据而设计的模型。最后，本文描述了与这些模型相关的一种新型安全漏洞，并讨论了可能的缓解措施。