AAAI 2024 | 多维时序下的全连接时空图模型

多元时间序列（MTS）数据在各种应用领域中至关重要。由于其具有时序性和多源（多个传感器）属性，MTS数据本质上表现出时空（ST）依赖性，包括时间戳之间的时间相关性以及每个时间戳中传感器之间的空间相关性。为了有效利用此信息，基于图神经网络的方法（GNNs）已被广泛采用。

然而，现有方法分别捕获空间依赖性和时间依赖性，并且无法捕获不同传感器在不同时间戳之间的相关性（DEDT）。忽略这种相关性会阻碍对MTS数据中ST依赖性的全面建模，从而限制了现有GNNs的有效表示学习。

本文介绍一篇由新加坡科技研究局（A*STAR）与新加坡南洋理工大学联合发表的多元时间序列分析工作，有效解决了上述问题。

论文地址：https://arxiv.org/abs/2309.05305

论文源码：https://github.com/Frank-Wang-oss/FCSTGNN

论文概述

论文作者提出了一种名为“全连接时空-图神经网络（FC-STGNN）”的新方法，该方法由两个关键组件组成：全连接图构造和全连接图卷积，共同捕获MTS数据中的全面ST依赖性。

这种创新方法有效地捕捉了MTS数据中复杂的空间-时间依赖性，解决了以前方法的局限性，为各种应用领域的模型和表示学习提供了更准确的方法。

该论文的贡献主要有三个方面：

• 提出了一种全连接ST图，以明确地模拟所有时间戳中传感器之间的相关性。通过设计基于时间距离的衰减矩阵，作者改进了所构造的图，有效地建模了MTS数据中的全面ST依赖性。
• 提出了一种移动池化GNN层，以有效地从所构造的图中捕获ST依赖性，用于学习有效的表示。它引入了一个移动窗口来考虑局部ST依赖性，随后进行时间池化操作以提取高级特征。
• 作者进行了广泛的实验，以展示其方法在有效建模和捕获MTS数据中的复杂ST依赖性方面的有效性。

模型框架

上图显示了FC-STGNN的整体结构，旨在完全捕获MTS数据中的ST依赖性。

从MTS样本开始，每个传感器的信号被分割成多个补丁，如图所示，有三个补丁（每个补丁包含四个传感器）。然后，通过编码器在每个补丁内学习传感器级别的特征。接下来，使用位置编码将不同补丁的特征进一步编码，然后进行全连接图构造和卷积。

01

全连接图构造

分段与编码：给定一个MTS样本

，通过考虑MTS数据中的局部时间模式，将每个传感器的信号分割成多个补丁，接着使用编码器

来处理每个窗口内的分段信号。值得注意的是，编码器在传感器级别上运行以学习传感器级别的特征，即

。此外，为了保持补丁之间的方向性，即补丁的相对位置信息，采用位置编码作为启发。

通过点积计算实现全连接：在多个补丁中学习传感器特征后，就可以构建一个全连接图，该图通过考虑DEDT之间的相关性将所有传感器相互连接。为了构建图形，作者假设相关传感器应表现出相似的属性，使其特征在特征空间中接近。这使作者能够采用相似性来表示传感器之间的相关性，较大的相似性反映了较高的相关性。在这种情况下，采用简单而有效的度量标准，即点积，来量化两个传感器之间的相似性，定义为：

，其中

和

。这里，函数

被用来增强表达力。此外，softmax函数将相关性限制在[0,1]之间。最后，导出全连接图

，其中

，

。

表示全连接图的邻接矩阵，其元素表示所有补丁中传感器之间的相关性。图

不仅包括时间戳之间的时间相关性，而且还在每个时间戳中包括空间相关性，此外还包括DEDT之间的相关性，这使得在MTS数据中建模全面的ST依赖性。

衰减矩阵设计：全连接图

的构建仅基于补丁之间的传感器相似性，而未考虑这些补丁中传感器之间的时间距离。然而，直观上，时间戳较远的传感器应该表现出较弱的关联性，而时间戳较近的传感器则表现出较强的关联性。受此启发，作者设计了一个衰减矩阵，该矩阵结合了传感器之间的时间距离，旨在提高全连接图

的精度。

02

全连接图卷积

在构建的全连接图的基础上，下一步是捕获多时间序列数据中的空间--时间依赖关系，以进行表征学习。一种直接的方法是应用整个图上的图卷积。然而，这种方法可能无法有效地捕获多时间序列数据中的局部空间一时间依赖关系。这与卷积神经网络（CNNs）采用局部卷积捕获图像中的局部信息的原理类似。此外，直接使用整个图可能会导致额外的计算成本。为了解决这些限制，作者提出了一种移动池化图神经网络（GNN），包括一个移动窗口来捕获局部空间一时间依赖关系，以及时间池化来提取高级特征。

移动-池化GNN层：这一层采用特定大小的移动窗口沿着时间戳滑动。在每个窗口内，执行图卷积以通过边缘传播更新节点特征。下图提供了一个可视化的说明，其中展示了一个具有四个补丁的全连接图，每个补丁包含四个传感器。在这个例子中，一个大小为2的窗口以步长1移动，导致获得三个窗口。在这里，每个窗口包含两个补丁，每个补丁包含四个传感器。然后，在每个窗口中采用GNN。

更新传感器特征：采用消息传递神经网络（MPNN）作为GNN的变种，以捕获每个窗口内图的ST依赖关系。更新阶段采用非线性函数来更新传感器特征，进一步增强了学习有效表示的能力。

时间池化操作：在捕获ST依赖关系并更新传感器特征后，采用时间池化操作来提取每个窗口的高级特征，这一步骤对于从时间数据中提取有用信息至关重要。如下图所示，作者创建了一个高层次的FC图，作为后续层的输入。请注意，本研究只采用了一层，因此直接利用每个窗口中获得的传感器特征进行输出。

受先前研究引入的多分支概念的启发，作者还集成了多个并行层的图构造和卷积。这种方法允许使用不同的权重初始化模型，使训练能够从各种全面的视角捕获ST依赖关系，并获得最佳可能的解决方案。作者将来自这些多个层的所有传感器特征堆叠起来，并采用一个简单的输出层（即MLP）将堆叠的特征转换为表示。这些表示可用于下游任务。

实验效果

作者在三个不同的下游任务上对全连接空间-时间图神经网络的表现进行评估：剩余使用寿命（RUL）预测、人体活动识别（HAR）和睡眠阶段分类（SSC）。具体来说，利用C-MAPSS进行RUL预测，利用UCI-HAR进行HAR，利用ISRUC-S3进行SSC。

总结

为了对MTS数据中的综合时空依赖关系进行建模，作者设计了一种名为Fully-Connected Spatial-Temporal Graph Neural Network（FC-STGNN）的新型方法。该方法包括两个关键模块：FC图构建和FC图卷积。在图构建中，作者设计了一个FC图，通过额外考虑DEDT之间的相关性，将所有时间戳之间的传感器连接起来，从而实现了对MTS数据中综合时空依赖关系的建模。接下来，作者设计了FC图卷积，利用移动窗口和时间池化来捕捉局部时空依赖关系，并学习高层特征。本文的方法通过大量实验进行了评估，强调了其在有效建模MTS数据中综合时空依赖关系方面的能力。