时空预测中，多大程度上需要图结构信息？

在时间序列预测中，时空预测是一种常见的方法，当各个时间序列存在空间关系时，将图神经网络引入，在之前的很多工作中都已经被验证了有明显的正向效果。然而，时空预测由于引入了空间结构信息，会导致模型的计算复杂度显著提升。那么，我们多大程度上需要图结构的信息呢？能否在不影响效果的前提下，减少图结构信息的引入，以此提升模型效率呢？KDD 2023中的一篇文章，就对这一方向进行了深入研究，提出了一种稀疏图时空预测方法，并验证了图结构信息在不同阶段（训练 or 预测）的作用。

下面将从本文使用的基础时空预测模型结构开始，介绍这篇文章的主体工作。

论文标题：Localised Adaptive Spatial-Temporal Graph Neural Network

下载地址：https://arxiv.org/pdf/2306.06930.pdf

1、基础模型：ASTGNNs

文中的ASTGNNs指的是一类时空预测网络，全称是Adaptive Spatial Temporal Graph Neural Network，目前是时空预测中的SOTA类型方法。这类网络的核心是时空网络和图自适应学习两个模块。

时空网络部分，将时间序列和图结构一起输入到模型中，模型一般会独立的对每个时间序列进行编码，得到独立编码结果输入到下一层；然后使用图结构信息和GNN对各个节点的信息进行融合。上述的两层会迭代进行，即一层时序模型+一层图神经网络模型。也有一些工作采用并行的方式同时建模时间和空间信息，再通过Gate融合。

图自适应学习，主要指的是根据数据自动学习各个时间序列之间的图结构关系。之前的时空预测模型，往往需要人工提前定义一个图结构。但是并不是每种数据都有显示的图结构，并且人工定义的图结构信息不完整。因此出现了图自适应学习方法，每个节点有一个可学习的embedding向量，通过embedding内积等方式计算节点间相似度，构成图结构。这种方式得到的图结构完全是数据驱动的，与时空网络端到端学习。

更详细的时空预测网络分类总结，可以查看星球中《Spatial-Temporal时空预测总结》这篇文章。

2、图的稀疏性

本文基于ASTGNNs类型的网络，对模型自动学到的图结构进行了分析。分析结果如下图，绘制了两个边模型学到的权重的分布，可以看到绝大多数的边都是接近0的数，因此表明了节点间关系有稀疏性的倾向，大多数节点之间都不存在比较强的对时空预测有用的关联关系。

如果能设计一种方式，实现图结构自适应学习过程中，能够学到稀疏的图结构，可以显著提升模型整体的计算效率，同时让学习到的图结构含义更加明确。

3、稀疏ASTGNN模型

为了在ASTGNN中引入稀疏性，文中采用了Mask的方法。具体来说，模型的图自适应学习模块同时学习两个矩阵，一个是图结构邻接矩阵A，另一个是mask矩阵M，二者的尺寸相同。M表示两个节点间的边是否应该被剪枝，也就是设置为0，M中的元素是1或0两种类型。损失函数的整体形式如下：

其中，第一项L表示时空预测的损失，使用的图结构是A和M的element-wise product，也就是剪枝后的临接矩阵。第二项是一个正则化项，也就是要求M矩阵尽可能小，即满足稀疏性的约束。M矩阵的学习方式是直接根据节点的embedding和一个全连接进行拟合。

整体的算法流程如下，在稀疏化之前，会先进行正常的时空网络预训练，然后递归的对边进行剪枝。

4、实验结果

文中基于提出的稀疏化方法进行了实验，实验结果发现：稀疏程度达到99%以上，在inference阶段对test acc都没有太大影响。甚至是完全稀疏化，即完全忽略空间信息，退化成纯时间序列建模，test acc也不会下降很多。但是如果在训练阶段进行完全稀疏化，则会让模型效果下降明显。

基于这些实验现象，文中的分析是：在大部分时空预测数据集中，数据之间的空间关系是包含在时间序列中的，也就是空间结构的引入并没有太多信息增益，因此在inference阶段即使去掉空间信息也没有影响。但是训练，引入空间信息可以帮助模型更好的收敛，因此还带来效果上的提升。