时空基础模型综述：从数据到模型的全流程解析

论文标题：Unraveling Spatio-Temporal Foundation Models via the Pipeline Lens: A Comprehensive Review

作者：Yuchen Fang（方雨晨）, Hao Miao（缪浩）, Yuxuan Liang（梁宇轩）, Liwei Deng（邓力玮）, Yue Cui（崔越）, Ximu Zeng（曾曦霂）, Yuyang Xia（夏宇阳）, Yan Zhao（赵艳）, Torben Bach Pedersen, Christian S. Jensen, Xiaofang Zhou（周晓方）, Kai Zheng（郑凯）

机构：电子科技大学，奥尔堡大学（AAU），香港科技大学（广州），香港科技大学

论文链接：https://arxiv.org/abs/2506.01364

Github仓库：https://github.com/LMissher/Awesome-Spatio-Temporal-Foundation-Models

TL; DR: 本文综述了时空基础模型（STFMs），涵盖数据预处理、模型设计、训练目标和迁移适应技术等方面，提出了数据属性分类法，讨论了模型在多领域的应用，并展望了未来研究方向，旨在提升模型性能和适用性。

关键词：时空基础模型，Pipeline，「数据来源 - 依赖关系 - 模态」分层分类

图片

时空数据建模通用需求

在智能交通、气象预测、能源网络等关键领域，时空数据呈现高维动态性（如路网轨迹的时空耦合、气象场的多尺度演变）与任务多样性（预测、补全、异常检测等）。传统「一对一」模型面临两大痛点：

• 重复开发成本高：每个任务需独立训练，资源浪费显著；
• 泛化能力局限：跨域迁移需重构模型，难以应对数据分布差异。

时空基础模型（STFMs） 通过「单一模型解决多任务」的通用框架，成为破局关键。其核心思想如下图所示：通过学习原生时空基础模型或迁移其他领域预训练基础模型，实现「一次训练，多域部署」。

时空基础模型范式

时空基础模型范式

时空基础模型学习难点

相关综述

相关综述

• 待探索的数据与模型联系：如上表所示，尽管已有综述按数据类型对时空基础模型进行介绍，但往往忽视了数据对齐中的关键步骤（如嵌入技术），这使得时空数据如何有效对接基础模型变得模糊。
• 数据属性视角缺失：目前研究大多直接粗粒度的将基础模型进行分类（例如基于数据类型或深度学习方法），但未解释为何相似方法被应用于具备共性的数据类型，忽略了从数据属性出发进行模型选择或设计的深入洞见。
• 零散内容：时空数据、基础模型、训练目标与迁移适应技术往往被孤立讨论，导致学者难以系统理解在不同任务、数据集与实际场景中应选用哪些模型、目标与策略。

综述主要贡献

• 全面且最新的综述：本文提供了当前最系统的时空基础模型综述，涵盖数据类型、模型、训练目标和适配技术等广泛内容。
• 创新的数据属性分类体系：首次提出按「数据来源 - 依赖关系 - 模态」分层分类法，从粗到细的将时空基础模型进行分类，有助于高效模型设计与选择。
• 首次基于流程视角的综述：据我们所知，本文是首个从流程出发系统分析时空基础模型的综述，有助于理解模型为何表现优越、如何构建。
• 未来研究方向的识别：我们总结了时空基础模型当前应用中的关键挑战，并提出了未来研究的潜在机遇，激励后续更先进模型的发展。

技术框架：数据 - 模型 - 应用的三维技术栈

时空基础模型按「数据来源 - 依赖关系 - 模态」分层分类如下图所示，其主要涵盖内容如下：

pipeline

pipeline

• 数据调和层：从原始数据到语义表征的标准化流水线
  • 轨迹数据：通过地图匹配（Map-Matching）修正 GPS 噪声，利用旋转位置嵌入（Rotary Position Embedding）保留时空相对关系；
  • 事件数据：构建时序知识图谱（TKG），通过大语言模型（LLM）推理事件因果链；
  • 时空网格数据：采用 3D 分块（3D Patching）降低空间分辨率，结合傅里叶变换（FFT）分离季节趋势；
  • 时空图数据：核心预处理技术包括时序分解、时空 Patching 以及时空嵌入。
  • 视频数据：预处理核心目标是适配预训练视觉模型输入格式、压缩冗余信息及保留时空语义；
  • 特征增强技术：引入 POI 类别、天气等外源信息，通过跨模态对齐（如 CLIP 的图文对比学习）提升表征丰富度。
  • 常用时空数据集如下表所示

数据集

数据集

• 模型架构层：基于数据属性的精细化建模
• 时空原生模型（Primitive Models）：
  • 时序模型：Transformer + 分块嵌入（Patch Embedding）捕捉长程依赖（如 UniTraj 用于轨迹预测）；
  • 空间模型：视觉 Transformer（ViT）结合图神经网络（GNN）建模全局空间关联（如 G2PTL 融合注意力矩阵与路网拓扑）；
  • 时空联合模型：时空 Transformer 融合卷积与自注意力（如 MSTEM 用于事件预测）
• 时空迁移模型（Transferred Models）：
  • 视觉迁移：ViT 预训练模型提取视频帧特征，通过 Q-Former 适配语言模型（如 BLIP 用于视频问答）；
  • 语言迁移：LLaMA 通过提示工程（Prompt Engineering）将数值数据转为文本序列（如 “时间戳 + 位置 + 流量” 模板）；
  • 多模态迁移：UrbanCLIP 通过预训练多模态模型生成文本描述，以进行图文对比学习生成城市区域语义向量，支持犯罪预测等下游任务。
• 训练与适配层：自监督学习与预训练迁移
  • 自监督目标设计：
  • 回归建模： autoregressive 预测未来（如 FourCastNet 迭代生成气象序列）；

回归建模

回归建模

• 掩码建模:时空 MAE 重构缺失数据（如 STD-MAE 分离时空依赖提升交通预测精度；

掩码建模

掩码建模

• 对比学习：不同视角的输入表示对齐（如 UrbanCLIP 对齐图文模态提升下游任务性能）

对比学习

对比学习

• 扩散生成：条件扩散模型生成符合物理约束的时空数据（如 ControlTraj 引入道路拓扑约束）。

扩散生成

扩散生成

• 预训练迁移技术：
  • 提升工程：现有提升预训练模型用于时空建模的方法可分为两类：1）直接将数值数据融入文本；2）将数值数据转换为文本描述；

提升工程

提升工程

• 特征增强：得益于预训练基础模型强大的文本和图像理解能力，可以从其提取丰富的额外特征用于下游任务，如时空数据的文本描述及隐式关联。

特征增强

特征增强

• 跨域对齐：现有跨域对齐方法直接将预训练的大型语言模型用来时空建模，通常将时空数据与文本对齐，然后将对齐后的数据输入到冻结的大型语言模型中，用于下游时空任务。

跨域对齐

监督微调：监督微调利用特定时空数据对预训练模型进行再训练，将时空领域知识融入到预训练的大型语言模型中。

监督微调

监督微调

技术展望：下一代时空基础模型的六大技术坐标

• 规模化训练：构建超大规模时空数据集，验证「模型规模 - 性能」的扩展定律；
• 高效推理：探索基础模型的蒸馏、剪枝、压缩等，以适配边缘设备；
• 跨域统一：如设计通用空间分块技术，兼容网格（Grid）与图（Graph）数据，实现「一模型通用于路网与传感器网络」；
• 标准化评测：建立跨域（如轨迹、格子、图数据的统一验证）跨任务 Benchmark（如涵盖预测、生成、推理的多维度评估体系），推动技术横向对比；
• 多目标训练：过联合优化多个互补目标（如回归或掩码建模），提升模型的泛化能力与任务兼容性；
• 多模态基础模型：通过对齐不同模态特征以解决时空数据存在的语义鸿沟与数据稀疏性。