KDD 2025 | MDPNet：融合多尺度分解与扩散模型的时空预测

时空探索之旅

发布于 2025-06-19 11:37:52

3380

文章被收录于专栏：时空探索之旅时空探索之旅

🚀 论文标题： Predicting the Dynamics of Complex System via Multiscale Diffusion Autoencoder

🖋作者：Ruikun Li（李瑞堃）, Jingwen Cheng（程靖雯）, Huandong Wang（王寰东）, Qingmin Liao（廖庆敏），Yong Li（李勇）

🏫机构：清华大学

🔗 论文链接：https://arxiv.org/abs/2505.02450

💻 开源代码：https://github.com/tsinghua-fib-lab/MDPNet

摘要

预测复杂系统的动态演化，对众多科学和工程应用至关重要。预测的准确性，取决于模型能否捕捉到系统内在的动态规律。现有方法虽能通过将系统状态编码至潜在空间来捕捉关键动态，但它们往往忽略了复杂系统固有的多尺度结构 (multiscale structure)，因此难以精确预测复杂的时空演变过程。

为此，作者提出了一个多尺度扩散预测网络 (Multiscale Diffusion Prediction Network, MDPNet)。它巧妙地利用复杂系统的多尺度结构，来发现其内在动态所在的潜在空间。首先，MDPNet包含了一个多尺度扩散自编码器，通过编码多尺度特征来引导扩散模型进行可靠的重构。接着，MDPNet引入一个基于注意力机制的图神经常微分方程，来模拟不同尺度间的协同演化。在多个代表性复杂系统上的广泛评估表明，与基线方法相比，MDPNet平均预测误差降低了53.23%，同时在鲁棒性和泛化能力上也表现出显著优势。

1. 引言：挑战与科学问题

对流体力学、天气系统、生物蛋白等复杂系统的时空动力学进行长期、高精度预测，是科学计算领域的核心挑战之一。现有方法主要分为两类，但都存在局限性：

基于物理的方法：通过粗粒化（coarse-graining）或下采样来利用系统的多尺度特性，但这种基于规则的降维不可避免地会导致精细信息的丢失，从而限制了预测精度。
基于深度学习的方法：常使用自编码器（Autoencoder）将高维状态映射到低维潜在空间。然而，这类方法通常将神经网络视为“黑箱”，将所有尺度的信息纠缠在一起，未能显式地利用和保留系统固有的多尺度结构，这限制了其对复杂时空模式的预测能力。

因此，一个核心的开放性问题是：能否构建一个既能保留系统多尺度结构、又能缓解编码信息损失的潜在空间，以实现更精准的动力学预测？

2. MDPNet：一个为多尺度动力学设计的全新框架

2.1 多尺度扩散自编码器：解耦与重构的新范式

为了在保留多尺度信息的同时进行有效降维，作者提出了一种全新的自编码器结构。

尺度残差编码器 (Scale Residual Encoder) ：作者设计了一种残差编码方法来分解不同尺度的信息。具体而言，对于一个系统状态，MDPNet首先通过下采样算子提取最粗糙尺度的特征。随后，MDPNet在残差上提取次一级尺度的特征。该过程迭代进行，确保了从粗到细的信息被逐层解耦。理论上，当尺度k=1时，此过程是无损的。最终，MDPNet将每个尺度的残差特征送入一个共享权重的编码器，得到多尺度潜在向量。
引导扩散解码器 (Coarsening-guided Diffusion Decoder)：这是MDPNet设计的关键。MDPNet并不采用传统的解码器，而是创新性地使用扩散模型（Diffusion Model）作为解码器。其核心思想是，将编码器提取的多尺度潜在向量作为条件，去引导扩散模型在不同时间步的去噪（重构）过程。这种设计范式从根本上区别于传统AE：传统AE要求潜向量z保存所有信息以完成重构；而在MDPNet框架中，z只需承载用于指导强大生成模型（扩散模型）进行高质量重构的结构化条件信息即可。编码器和扩散解码器协同工作，共同塑造出一个蕴含多尺度信息的、结构化的潜在空间。

图1：MDPNet整体框架

2.2 跨尺度神经动力学：用GNODE建模协同演化

在获得解耦的多尺度潜在表征后，MDPNet需对它们的动力学演化进行建模。考虑到不同尺度间存在复杂的相互作用，作者设计了跨尺度神经动力学模块。

图结构构建：MDPNet将K个不同尺度视为一个K节点的图，其中每个节点的特征就是该尺度的潜在向量。
动力学建模：MDPNet采用图神经常微分方程 (Graph Neural Ordinary Differential Equations, GNODE) 来描述这个图系统的连续时间演化。其ODE函数包含两部分：
1. 自身动力学 ：捕捉每个尺度自身的演化规律。
2. 相互作用项 ：采用图注意力机制，自适应地学习不同尺度之间的信息传播和影响，从而建模它们的协同演化（co-evolution）。

通过求解这个ODE，MDPNet便可以预测任意未来时刻的多尺度潜在状态，并将其送入解码器进行物理状态重构。

3. 实验验证

作者通过在四个经典的偏微分方程系统（Lambda-Omega, Brusselator, Gray-Scott, Navier-Stokes）上的广泛实验，系统性地验证了MDPNet的性能。实验结果不仅展示了其在预测精度上的巨大优势，也深入揭示了其框架设计的合理性。

3.1 综合性能评估：精度、鲁棒性与效率

预测精度树立新标杆：与FNO、Neural ODE、AE-LSTM等一系列代表性基线模型相比，MDPNet在所有测试系统上均取得了SOTA性能。综合评估下，实现了平均53.23%的预测误差降低。

图2：MDPNet与Baselines在4个代表性系统的预测表现

直观的预测快照（如下图）清晰地显示，MDPNet的预测结果在长期演化中与真实值（Ground Truth）高度吻合，准确捕捉了复杂的时空动态模式。

NS示例

图3：MDPNet在NS系统上的长期预测结果与真实值对比。前两行为真实值和预测值，第三行为误差
优异的鲁棒性：在含噪声或稀缺数据的实验中，MDPNet表现出强大的鲁棒性。如下图（a）所示，即使在训练数据中引入高斯噪声，模型性能也未出现剧烈下滑。图（b）则表明，即便训练数据量减少至60%，MDPNet的性能依然超越了使用100%数据的最优基线模型。

图4：MDPNet在Bruss系统上的鲁棒性分析。(a) 对不同强度噪声的稳健性；(b) 对不同训练数据量的适应性

显著的计算效率：通过在低维潜在空间进行动力学预测，MDPNet实现了巨大的计算增益。以圆柱绕流为例，空间维度从 2×128×64 降至 3×128，降维超40倍。与传统数值方法（LBM）相比，其长期模拟的时间成本优势巨大，实现了数量级的加速。

图5：计算时间成本对比，MDPNet（蓝色）相比传统LBM方法（橙色）实现了显著的计算加速

3.2 核心机制验证：多尺度设计的内在优势

为了证明MDPNet的卓越性能源于其创新的多尺度设计，作者进行了深入的机制分析。

更高效的潜在空间：作者对比了MDPNet与其他基于潜在空间的方法（AE-LSTM, G-LED）在不同潜在维度下的性能。结果显示，MDPNet的多尺度方法能够更高效地利用潜在空间的容量。如下图所示，MDPNet在64维时已接近性能饱和点，显著优于需要更大维度才能收敛的基线模型，证明了其表征能力的优越性。

图6：模型性能随潜在维度的变化。MDPNet（绿色）在更低的维度上达到了比基线模型更高的精度

多尺度分解的必要性：直接证据表明，MDPNet显式地解耦多尺度信息是提升性能的关键。消融研究（Ablation Study）证实，如果移除交叉尺度互动项，模型性能会大幅下降。

图7：预测模块的消融实验：无尺度交互项的前两个版本性能大幅下降

扩散解码器的容错性：MDPNet创新的“粗化引导扩散解码器”相比传统解码器具有更强的容错能力。MDPNet通过向不同尺度的潜在向量注入噪声来模拟长期预测中累积的误差。实验（如下图）表明，MDPNet的扩散解码器对这种扰动表现出极强的韧性，而传统解码器则会发生性能崩溃。这解释了MDPNet为何在长期预测中依然能保持高精度。