顶会新方向！15篇大模型+时序预测领域必读论文

VachelHu

发布于 2023-11-15 17:27:37

7.7K0

发布于 2023-11-15 17:27:37

文章被收录于专栏：时序人时序人

关注并星标

#TSer#

近期，时间序列预测领域的首个大模型 TimeGPT 引起业界热议，大模型+时间序列这个新方向也更值得探索研究。

大模型在时间序列领域具有捕捉长期依赖关系、处理高维数据和对抗噪声等优势，可以应用于股票价格预测、气象预测、能源需求预测等多种具体场景中。随着技术的不断发展和创新，大模型的应用潜力将进一步释放，为时间序列分析带来更多的可能性和价值。

本文整理了大模型+时间序列方向的15篇必读论文，一类是用大模型处理时间序列，另一类是训练时序领域的大模型。（如需论文原文，请关注公众号后回复“时序大模型”获取）

大模型处理时间序列

通用领域

PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting

论文摘要：这篇论文提出了一种新的时间序列预测范式，称为PromptCast，它利用语言模型进行预测。在这个范式中，将数值输入和输出转化为提示，并以句子对句子的方式构建预测任务。这使得可以直接应用语言模型进行预测。论文还介绍了一个名为PISA（Prompt based tImeSeries forecAsting）的大规模数据集，其中包括三个真实世界的预测场景。作者评估了不同的最先进的基于数值的预测方法和语言生成模型，并展示了PromptCast的良好性能。论文还讨论了PromptCast的潜在应用，如预测聊天机器人。这项工作是首次从基于语言的角度，而无需修改模型架构来处理通用时间序列预测的努力。作者发布了PISA数据集，并提供了一个基准来评估不同方法在PromptCast任务上的性能。

论文地址：https://arxiv.org/abs/2210.08964

论文源码：https://github.com/HaoUNSW/PISA

One Fits All：Power General Time Series Analysis by Pretrained LM

论文摘要：这篇论文通过使用预训练语言模型来改进时间序列分析任务。作者提出了一种名为Frozen Pretrained Transformer（FPT）的模型，该模型利用预训练语言模型的残差块来进行时间序列分析。作者通过实验证明，FPT模型在各种时间序列分析任务中可以达到或接近最先进的性能。此外，作者还发现FPT模型的特征图在特征空间中分布广泛，这有助于提高模型的学习能力。论文还介绍了一些与模型性能和层级选择相关的实验结果。总的来说，该论文的核心思想是利用预训练语言模型来改进时间序列分析任务，并通过实验证明了该方法的有效性。

论文地址：https://arxiv.org/abs/2302.11939

论文源码：https://github.com/DAMO-DI-ML/One_Fits_All

Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

论文摘要：该论文提出了一种名为TIME-LLM的时间序列预测方法，通过重新编程大型语言模型（LLMs）来实现。该方法利用LLMs在复杂序列数据上的强大模式识别和推理能力，将时间序列数据与自然语言对齐，从而实现准确的时间序列预测。与传统的时间序列预测方法相比，TIME-LLM在少样本和零样本学习场景下表现出色，并且在多个任务和应用中优于现有的专门化预测模型。

论文地址：https://arxiv.org/abs/2310.01728

论文源码：暂未公布

LLM4TS：Two-Stage Fine-Tuning for Time-Series Forecasting with Pre-Trained LLMs

论文摘要：在这项工作中，作者利用预训练的大型语言模型（LLMs）来增强时间序列预测。作者通过结合时间序列分块和时间编码的方法，提高了LLMs处理时间序列数据的能力。为了实现这一目标，作者采用了两阶段微调的方法，首先进行有监督的微调，将LLMs引导到时间序列数据，然后进行特定任务的下游微调。此外，为了提高预训练LLMs对新数据模态的适应性，作者采用了几种参数高效微调（PEFT）技术。通过这些创新，LLM4TS在长期预测方面取得了最先进的结果，并且在作为强大的表示学习器和有效的少样本学习器方面表现出了出色的能力。

论文地址：https://arxiv.org/abs/2308.08469

论文源码：暂未公布

TEST: Text Prototype Aligned Embedding to Activate LLM's Ability for Time Series

论文摘要：作者通过设计一种适用于语言模型（LLM）的时间序列（TS）嵌入方法，激活LLM处理TS数据的能力。论文提出了一种名为TEST的方法，它首先将TS进行分词，然后通过实例级、特征级和文本原型对齐的对比学习方法对TS进行编码，接着创建提示来使LLM更容易理解嵌入，最后实现TS任务。通过在UCR、UAE和TSER数据集上进行实验，评估了TEST和其他基线方法在TS分类和预测任务上的性能。

论文地址：https://arxiv.org/abs/2308.08241

论文源码：暂未公布

Large Language Models Are Zero-Shot Time Series Forecasters

论文摘要：该论文探讨了大型语言模型（LLMs）在时间序列预测中的应用。作者提出了一种名为LLMT IME的方法，该方法将时间序列数据视为文本，并使用LLMs预测序列中的下一个token。他们发现，像GPT-3和LLaMA-2这样的LLMs可以在没有任何微调的情况下有效地推断时间序列数据，优于专用的时间序列模型。LLMs在时间序列预测方面的成功归因于其表示多模态分布的能力以及其对简单性和重复性的偏好，这与时间序列数据中经常发现的模式相一致。作者还演示了LLMs如何处理缺失数据，整合文本侧信息，并为其预测提供解释。然而，他们指出数字的标记化可能会影响LLMs的性能，并且由于数字标记化和不确定性校准的问题，更大的模型并不总是会表现更好。

论文地址：https://arxiv.org/abs/2310.07820

论文源码：https://github.com/ngruver/llmtime

TEMPO: Prompt-based Generative Pre-trained Transformer for Time Series Forecasting

论文摘要：该论文介绍了一种名为TEMPO的生成式预训练transformer模型，用于时间序列的表示学习和预测。TEMPO通过局部加权散点平滑将时间序列分解为趋势、季节性和残差三个加法成分，并将每个成分映射到隐藏空间中构建生成式预训练transformer的时间序列输入嵌入。TEMPO利用prompt池来引导模型的预测任务，通过重用一组可学习的连续向量表示来编码时间知识。实验结果表明，TEMPO在时间序列预测任务上表现优于其他模型。

论文地址：https://arxiv.org/abs/2310.04948

论文源码：暂未公布

金融领域

Temporal Data Meets LLM -- Explainable Financial Time Series Forecasting

论文摘要：该论文利用大型语言模型（LLMs）进行金融时间序列预测，探索了如何利用LLMs来预测金融市场中的股票回报。通过结构化的提示信息，指导LLMs进行预测任务，并展示了LLMs在性能上超越传统的统计模型和机器学习技术。同时，引入“思维链”方法提高预测性能，即借鉴了“思维链”方法中的逐步推理过程，将其应用于LLMs模型中，进一步提高了预测性能。通过逐步推理，LLMs能够捕捉到之前被忽视的关键信息，从而改进了预测结果。

论文地址：https://arxiv.org/abs/2306.11025

论文源码：暂未公布

The Wall Street Neophyte: A Zero-Shot Analysis of ChatGPT Over MultiModal Stock Movement Prediction Challenges

论文摘要：该论文是对ChatGPT在多模态股票走势预测中的能力进行零样本分析。作者结合了数字数据（历史股票价格）和文本数据（推特）来探索ChatGPT在预测股票价格走势方面的潜力。他们将ChatGPT的性能与最先进的方法和传统方法（如线性回归）进行了比较。研究结果表明，尽管ChatGPT显示出潜力，但与现有方法相比，其性能有限。作者还观察到不同数据集之间性能的差异，并讨论了链式思维提示策略的潜力。他们强调了将来需要更专门的训练或微调来改进ChatGPT在股票价格预测中的性能、可解释性和稳定性。此外，论文强调了整合来自Twitter等社交媒体平台的文本信息以增强股票价格预测模型的重要性。

论文地址：https://arxiv.org/abs/2304.05351

论文源码：暂未公布

Instruct-fingpt: Financial sentiment analysis by instruction tuning of general-purpose large language models

论文摘要：该论文通过指令调整通用大型语言模型（LLMs）来进行金融情感分析。作者提出了一种简单而有效的指令调整方法，将一小部分监督式金融情感分析数据转化为生成任务，并使用这种方法对通用型LLMs进行微调，从而在金融情感分析方面取得了显著的进展。通过引入这种新颖的方法，作者希望在金融情感分析领域推动当前方法的边界，并为未来的研究开辟了有前途的方向。

论文地址：https://arxiv.org/abs/2306.12659

论文源码：暂未公布

医疗领域

Large Language Models are Few-Shot Health Learners

论文摘要：现有的LLMs擅长基于文本的推理，但健康应用程序要求模型以数值数据为基础，而这些数值数据在现有的训练语料库中不容易或直接表达为文本。作者证明，只需进行少量的调整，大型语言模型就能够对各种生理和行为时间序列数据进行基础训练，并在临床和健康背景下对许多健康任务做出有意义的推断。总的来说，这项研究展示了大型语言模型在健康领域应用的潜力和价值。

论文地址：https://arxiv.org/abs/2305.15525

论文源码：暂未公布

Frozen language model helps ecg zero-shot learning

论文摘要：该论文提出了一种多模态自监督预训练方法（METS），利用自动生成的临床报告来指导心电图（ECG）的自监督预训练。论文中介绍了METS的框架和方法，并进行了广泛的实验验证。实验结果表明，METS在零样本分类任务中取得了约10%的性能提升，相比于其他依赖于标注数据的监督和自监督基线方法。此外，METS在MIT-BIH数据集上取得了最高的召回率和F1分数，尽管MIT-BIH包含与预训练数据集不同的ECG类别。这项研究的主要贡献是证明了使用ECG-Text多模态自监督学习在泛化能力、有效性和效率方面的优势。

论文地址：https://arxiv.org/abs/2303.12311

论文源码：暂未公布

交通领域

Leveraging Language Foundation Models for Human Mobility Forecasting

论文摘要：该论文探索如何利用预训练的语言基础模型来预测人类移动性。论文提出了一种名为AuxMobLCast的方法，通过将人类移动数据转化为自然语言句子，利用预训练的语言基础模型进行微调，从而实现对未来人类移动性的预测。论文还引入了辅助的POI类别分类任务，以进一步提高预测性能。实验结果表明，AuxMobLCast可以显著改善人类移动性预测的性能。这项研究的贡献在于首次尝试利用预训练的语言基础模型来预测人类移动性数据，并展示了预训练语言模型在预测任务中的潜力。

论文地址：https://arxiv.org/abs/2209.05479

论文源码：https://github.com/cruiseresearchgroup/AuxMobLCast

时序领域大模型

TimeGPT-1

论文摘要：TimeGPT是业界第一个时间序列的基础模型，它的引入为时间序列分析领域带来了一种全新的、高性能的基础模型。TimeGPT具备出色的零样本推理能力，以及对各种未见数据集的准确预测，展示了大型深度学习模型在解决复杂问题时的潜力。这项研究为时间序列分析开辟了新的可能性，并有望推动相关领域的进一步发展。

论文地址：https://arxiv.org/abs/2310.03589

项目地址：https://docs.nixtla.io/

Lag-Llama

Lag-Llama: Towards Foundation Models for Time Series Forecasting

论文摘要：该论文提出构建基于时间序列的基础模型，并研究其在不同规模下的行为。论文介绍了 Lag-Llama 模型，它是一个通用的单变量概率时间序列预测模型，通过在大量时间序列数据上进行训练来展示其在未见过的“分布外”时间序列数据集上的预测能力，优于监督基线模型。论文还使用平滑破裂幂律来拟合和预测模型的规模行为。该论文的目标是开发时间序列的基础模型，研究其在不同时间序列领域之间的迁移能力，并推动跨领域时间序列的泛化能力的极限。

论文地址：https://arxiv.org/abs/2310.08278

论文源码：https://github.com/kashif/pytorch-transformer-ts