解读：Informer——比Transformer更有效的长时间序列预测方法

许多现实世界的应用需要长序列时间序列的预测，例如电力消耗规划等实际问题。长序列时间序列预测(Long sequence time-series forecasting，LSTF)要求模型具有较高的预测能力，即能够准确地捕捉输出与输入之间的长期依赖关系。近年来的研究表明，Transformer具有提高预测能力的潜力。然而，Transformer存在几个严重的问题，使其不能直接适用于LSTF问题，例如二次时间复杂度、高内存使用量和编码器-解码器体系结构固有的局限性。为了解决这些问题，这篇文章中设计了一种基于Transformer的LSTF模型，即Informer模型，该模型具有三个显著特征:

一种ProbSpare self-attention机制，它可以在时间复杂度和内存使用方面达到    。

self-attention机制通过将级联层输入减半来突出主导注意，并有效地处理过长的输入序列。

生成式解码器虽然概念简单，但对长时间序列序列进行一次正向操作而不是step-by-step的方式进行预测，这大大提高了长序列预测的推理速度。

最后，在4个大规模数据集上的大量实验表明，Informer方法显著优于现有方法，为LSTF问题提供了一种新的解决方案。

时间序列预测是许多领域的关键因素，如传感器网络监测、能源和智能电网管理、经济和金融a 2002)和疾病传播分析。在这些场景中，我们可以利用大量关于过去行为的时间序列数据来做出长期预测，即长序列时间序列预测。然而，现有的方法是在有限的问题设置下设计的，如预测48个点或更少，然而，越来越长的序列使模型的预测能力变得受到限制。其中，下图给出了在真实数据集上的预测结果，其中LSTM网络对某变电站逐时温度从短期(12点，0.5天)到长期(480点，20天)的预测结果。其中，当预测长度大于48点时，总体性能差距很大，即从(c)图中当预测点的数量大于48点后，MSE开始快速增大，并且推理的速度也在迅速降低。