ATFNet：长时间序列预测的自适应时频集成网络

ATFNet是一个深度学习模型，它结合了时间域和频域模块来捕获时间序列数据中的依赖关系。引入了一种新的加权机制来调整周期性的权重，增强了离散傅立叶变换，并包括一个复杂关系识别的注意力机制，在长期时间序列预测中优于当前方法(每个模型都这么说)。这是4月发布在arxiv上的论文，还包含了源代码。

因为时间序列(TS)分析有两种类型的域，即时域和频域。时域是关于信号强度随时间的变化，而频域是从频率的角度分析时间序列。前者有助于理解局部依赖关系，后者有助于理解全局依赖关系。混合两者是一个很好的方法，但是需要确实可行的方法。

ATFNet框架旨在解决处理现实世界时间序列数据中不同周期特性混合的挑战。这种组合允许利用时域和频域表示的优势进行全面分析。

ATFNet主要由三个子部分组成:1)T-Block从时域捕获局部依赖性;2) F-Block从频域捕获全局依赖性。扩展DFT用于生成输入序列的频率对准频谱。3)主导谐波系列能量加权，根据输入序列的周期性，为f块和t块分配适当的权重。

扩展DFT

在ATFNet中使用扩展DFT来对齐输入序列的频谱，从而允许对时间序列数据进行更全面的分析。通过只考虑输出的前一半(去掉后一半)来降低成本。

完整级数的DFT基如下:

这样，我们就得到了一个长度为L + T的谱，它与完整序列的DFT谱一致。

F-Block

F-Block是基于原始注意力机制，并进行了一些修改。注意力机制虽然效率不高，但功能强大，经过修改可以使其更高效。

该块接受长度为l的单变量频谱F(扩展DFT的输出)，然后用RevIN方法对F进行归一化以处理频域频谱

Complex-valued Spectrum 注意力的最终输出计算如下:

RevIN是一种具有可学习仿射变换的归一化和反归一化方法。可以应用于任何深度神经网络，是一种模型不可知的方法。

这里没有使用位置编码

T-Block

这部分负责数据的局部依赖性，也就是时域。数据被分成序列长度为p的N个小块。将每个小块嵌入到编码器中，使用线性投影来生成输出。这里也使用了RevIN。

Dominant Harmonic Series Energy Weighting

主导谐波系列能量加权机制根据输入序列的周期性动态调整时频域模块之间的权重

算法如下：

结果

论文给出的对比MSE是最低的

8个数据集的多变量长期时间序列预测结果。最好的结果用粗体表示，第二好的结果用下划线表示。这里只显示所有预测长度T∈{96,192,336,720}的平均结果

ETT数据集的单变量长期时间序列预测结果。ETT数据集具有目标特征“Oil Temperature”，将其作为单变量时间序列进行预测。最好的结果用粗体表示，第二好的结果用下划线表示。

消融研究结果。

总结

这篇论文介绍了一个名为ATFNet的创新框架，它结合了时间域模块和频率域模块来同时捕获时间序列数据中的局部和全局依赖性。研究者提出了一种新颖的机制“主导谐波系列能量加权”，根据输入时间序列的周期性动态调整两个模块之间的权重。在频率域模块中，通过扩展的离散傅立叶变换（Extended DFT）来解决离散频率不对齐的问题，并引入了复数谱注意力机制，用于探究不同频率组合之间的复杂关系。

论文地址

https://arxiv.org/abs/2404.05192

代码

https://github.com/yhyhyhyhyhy/atfnet