时间序列预测的主流模型结构一直以来被RNN、CNN、Transformer三大模型主体主导。而Nbeats的出现，让纯全连接的模型结构在时间序列预测问题上也能取得非常好的效果。这篇文章梳理了Nbeats系列工作，从最基础的Nbeats版本，到可以引入外部变量的Nbeats版本，再到能够处理时空预测的Nbeats版本。
时间序列预测在生产生活中有非常多的应用，近几年来研究者们主要关注在RNN、CNN、Transformer三大模型在时序预测上的应用。最近，来自加拿大创业公司 Element AI 的几位研究者提出了Nbeats模型，重新审视了传统模型在时序预测上的作用。他们发现纯全连接的模型结构在时间序列预测问题上也能取得非常好的效果。
表示学习是机器学习中的一个重要研究方向，在NLP、CV领域有很多经典的表示学习工作。大多数表示学习利用无监督学习的方法，结合合适的正负样本pair构造、损失函数，学习便于让机器学习模型理解的样本表示。近期，表示学习也逐渐应用到了时间序列领域。今天给大家介绍一篇时间序列表示学习的前沿工作，是由北京大学和微软联合署名的一篇AAAI 2022工作TS2Vec。
基础的时间序列预测任务的目标是给定历史序列，预测未来每个时间点的具体值。这种问题定义虽然简单直接，但是也面临着一些问题。在很多应用场景中，我们不仅希望能预测出未来的具体值，更希望能预测出未来取值不确定性，例如一个概率分布或者取值范围。在很多应用场景中，未来的时间序列本身就具有很强的不确定性，如果能预测出一个取值区间，会对业务决策带来更大的帮助，让我们对未来的最好情况和最差情况心里有个数。
今天给大家介绍一篇康奈尔大学和IBM研究院上周法发布的一篇时间序列相关工作，将时间序列预测任务和缺失值填充任务进行联合建模。通过对时间序列预测和缺失值填充这两个任务的整体建模和端到端训练，实现了一个模型同时解决两个任务，并提升两个任务效果的目标。
最近，图神经网络技术应用到时间序列的分析，引起了学术界广泛的研究兴趣。本次文章分享两篇最近阅读的，图神经网络用于时间序列异常检测的论文。
表示学习作为深度学习中的核心，近期越来越多的被应用到了时间序列领域中，时间序列分析的表示学习时代已经来了。本文为大家带来了2020年以来顶会的5篇时间序列表示学习相关的核心工作梳理。
时间序列预测是许多领域中的关键任务，例如金融、天气预报和传感器数据分析等。然而，时间序列经常受到趋势、季节性或不规则波动等因素的影响，表现出非平稳性。这种非平稳性会阻碍特征在深层网络中的稳定传播，破坏特征分布，并使学习数据分布变化变得复杂。因此，许多现有模型难以捕捉底层模式，导致预测性能下降。
Transformer技术在诸多问题，例如翻译，文本分类，搜索推荐问题中都取得了巨大的成功，那么能否用于时间序列相关的数据呢？答案是肯定的，而且效果非常棒。本篇文章我们就基于Transformer的方法动态地学习时间序列数据的复杂模式，并且在时间序列相关的问题上取得了目前最好的效果。
导语 PaddlePaddle 高度支持灵活和高效的循环神经网络配置。本周进阶篇推文将围绕RNN模型展开，指导你如何在 PaddlePaddle 中配置和使用循环神经网络。本周推文目录如下： 2.11：【进阶篇】RNN配置 2.12：【进阶篇】Recurrent Group教程 2.13：【进阶篇】支持双层序列作为输入的Layer 2.14：【进阶篇】单双层RNN API对比介绍 编写｜PaddlePaddle 排版｜wangp 本文以PaddlePaddle的双层RNN单元测试为示例，用多对效果完全相同的
这是谷歌在9月最近发布的一种新的架构 TSMixer: An all-MLP architecture for time series forecasting ，TSMixer是一种先进的多元模型，利用线性模型特征，在长期预测基准上表现良好。据我们所知，TSMixer是第一个在长期预测基准上表现与最先进的单变量模型一样好的多变量模型，在长期预测基准上，表明交叉变量信息不太有益。”
时间序列异常检测（TSAD）在各种应用中具有重要性，但面临挑战，需同时考虑变量内和变量间依赖性，基于图的方法在应对这方面取得了进展。
在前面的文章中，我们介绍了循环神经网络，它可以用来处理包含序列结构的信息。然而，对于诸如树结构、图结构等更复杂的结构，循环神经网络就无能为力了。本文介绍一种更为强大、复杂的神经网络：递归神经网络 (Recursive Neural Network, RNN)，以及它的训练算法BPTS (Back Propagation Through Structure)。顾名思义，递归神经网络（巧合的是，它的缩写和循环神经网络一样，也是RNN）可以处理诸如树、图这样的递归结构。
深度学习方法是一种利用神经网络模型进行高级模式识别和自动特征提取的机器学习方法，近年来在时序预测领域取得了很好的成果。常用的深度学习模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）、注意力机制（Attention）和混合模型（Mix ）等，与机器学习需要经过复杂的特征工程相比，这些模型通常只需要经数据预处理、网络结构设计和超参数调整等，即可端到端输出时序预测结果。深度学习算法能够自动学习时间序列数据中的模式和趋势，神经网络涉及隐藏层数、神经元数、学习率和激活函数等重要参数，对于复杂的非线性模式，深度学习模型有很好的表达能力。在应用深度学习方法进行时序预测时，需要考虑数据的平稳性和周期性，选择合适的模型和参数，进行训练和测试，并进行模型的调优和验证。来源：轮回路上打碟的小年轻（侵删）
时间序列是指将同一统计指标的数值按其发生的时间先后顺序排列而成的数列，其中隐藏着一些过去与未来的关系。时间序列分析试图通过研究过去来预测未来。
第10章 使用Keras搭建人工神经网络 第11章 训练深度神经网络 第12章 使用TensorFlow自定义模型并训练 第13章 使用TensorFlow加载和预处理数据 第14章 使用卷积神经网络实现深度计算机视觉 第15章 使用RNN和CNN处理序列 [第16章 使用RNN和注意力机制进行自然语言处理] [第17章 使用自编码器和GAN做表征学习和生成式学习] [第18章 强化学习] [第19章 规模化训练和部署TensorFlow模型]
时间序列预测是机器学习中的一项常见的任务，具有非常广泛的应用，例如：电力能源、交通流量和空气质量等预测。传统的时间序列预测模型往往依赖于滚动平均、向量自回归和自回归综合移动平均。另一方面，最近有人提出了深度学习和矩阵分解模型来解决时间序列预测问题，并获得了更具竞争力的性能，但是该类模型往往过于复杂。
表格数据的特征工程本是一个模块化过程，目标是对数据集进行编码以获得更好的模型精度。
来源：机器之心本文约2600字，建议阅读9分钟在时间序列预测任务上，你不妨试试简单的机器学习方法。 在深度学习方法应用广泛的今天，所有领域是不是非它不可呢？其实未必，在时间序列预测任务上，简单的机器学习方法能够媲美甚至超越很多 DNN 模型。 过去几年，时间序列领域的经典参数方法（自回归）已经在很大程度上被复杂的深度学习框架（如 DeepGIO 或 LSTNet 等）更新替代。这是因为传统方法可能无法捕获长期和短期序列混合传递的信息，而深度学习方法的思路是掌握数据中的跨时非线性依赖。从结果来看，这些深度学习
时间序列是按时间排序的一系列观察或测量。在谈论时间序列时，首先想到通常是股票价格。其实时间序列无处不在，一个地理位置的年降雨量、超市产品的日销售额、工厂的月耗电量、化学过程的每小时测量值都是时间序列的例子。
时间序列预测中，我们经常使用的损失函数包括MSE、MAE等。这些损失函数的目标是预测结果和真实值每个点的差距最小。然而这样的点误差损失函数真的适用于所有时间序列预测任务吗？
内容来源：和鲸社区 有效图表的重要特征： 在不歪曲事实的情况下传达正确和必要的信息。 设计简单，您不必太费力就能理解它。 从审美角度支持信息而不是掩盖信息。 信息没有超负荷。 01 关联 （Correlation） 关联图表用于可视化2个或更多变量之间的关系。也就是说，一个变量如何相对于另一个变化。 1、散点图（Scatter plot） 散点图是用于研究两个变量之间关系的经典的和基本的图表。如果数据中有多个组，则可能需要以不同颜色可视化每个组。在 matplotlib 中，您可以使用 plt.scatte
时间序列是记录动态系统测量值的主要数据类型，由物理传感器和在线过程（虚拟传感器）大量生成。因此，时间序列分析对于揭示可用数据中隐含的信息财富至关重要。随着图神经网络（GNNs）的最新进展，基于GNN的时间序列分析方法大幅增加。这些方法可以明确地建模时序和变量间的关系，而传统的和其他基于深度神经网络的方法则难以做到。在这项调查中，我们对图神经网络在时间序列分析中的应用进行了全面回顾（GNN4TS），涵盖了四个基本维度：预测、分类、异常检测和填补。我们的目标是指导设计师和从业者了解、构建应用程序，并推进GNN4TS的研究。首先，我们提供了一个全面的面向任务的GNN4TS分类法。然后，我们介绍和讨论代表性研究成果，并介绍GNN4TS的主流应用。最后，我们全面讨论了潜在的未来研究方向。这项调查首次汇集了大量关于基于GNN的时间序列研究的知识，突出了图神经网络在时间序列分析中的基础、实际应用和机遇。
Jason Brownlee 机器学习方法，比如深度学习，是可以用来解决时间序列预测问题的。 但在使用机器学习之前，时间序列问题需要被转化为监督学习问题。从仅仅是一个序列，变成成对的输入、输出序列。
最近一直在接触时间序列，所以打算写一些有关时间序列的文章，预测部分会从规则开始、到传统模型、到机器学习、再到深度学习，此外也会介绍一些时间序列的基本概念，包括自相关、平稳性、滞后性、季节性等。
时间序列预测问题是根据一个序列的历史值预测未来值。当同时预测多个时间序列，并且各个时间序列之间存在空间上的关系时，就不能只将每个时间序列单独建模，而应该考虑不同时间序列之间的关系。例如，在交通预测场景中，需要预测不同地点的车流量，不同地点的车流量之间是存在空间上的关系的，例如A点的车20%在5分钟后会开往B点。仍然用传统的时间序列预测方法，即每个序列独立的进行预测，无法捕捉这种不同地点的空间关系信息。
技术总言： 这次主要说最近发展的无监督特征学习和深入学习，其对于时间序列模型问题的评价。这些技术已经展现了希望对于建模静态数据，如计算机视觉，把它们应用到时间序列数据正在获得越来越多的关注。这次主要概述了时间序列数据存在的特殊挑战，并提供了工作的评价，其含有把时间序列应用到非监督特征学习算法或者是有选择的促成特征学习算法的变动去考虑目前时间序列数据的挑战。 ---- 当人们大脑在学习任务的时候，如语言、视觉和运动，时间是一种自然元素总是存在的。大多数真实世界的数据有一些时间成份，无论是自然过程的测量值（如
AI科技评论按：本文作者 Jason Brownlee 为澳大利亚知名机器学习专家，对时间序列预测尤有心得。原文发布于其博客。 Jason Brownlee 机器学习方法，比如深度学习，是可以用来解决时间序列预测问题的。 但在使用机器学习之前，时间序列问题需要被转化为监督学习问题。从仅仅是一个序列，变成成对的输入、输出序列。 这篇教程里，你将学到如何把单变量、多变量时间序列问题转为机器学习算法能解决的监督学习问题。本教程包含： 如何创建把时间序列数据集转为监督学习数据集的函数； 如何让单变量时间序
时间序列异常检测是一项重要的任务，其目标是从时间序列的正常样本分布中识别异常样本。这一任务的最基本挑战在于学习一个能有效识别异常的表示映射。
机器之心报道 编辑：杜伟、陈萍 在深度学习方法应用广泛的今天，所有领域是不是非它不可呢？其实未必，在时间序列预测任务上，简单的机器学习方法能够媲美甚至超越很多 DNN 模型。 过去几年，时间序列领域的经典参数方法（自回归）已经在很大程度上被复杂的深度学习框架（如 DeepGIO 或 LSTNet 等）更新替代。这是因为传统方法可能无法捕获长期和短期序列混合传递的信息，而深度学习方法的思路是掌握数据中的跨时非线性依赖。从结果来看，这些深度学习方法不仅优于 ARIMA 等传统方法和梯度提升回归树（Gradien
时序表征学习的基本思想就是“以向量嵌入的形式提供时间表示，以便自动进行特征工程过程并以更好的方式对时间建模”，有点类似于NLP中最初的词嵌入层（Embedding），这一过程区别于基于ML/专家经验的特征工程手段，往往是无监督的训练任务。
在 时间序列数据和MongoDB中：第一部分 - 简介 我们回顾了您需要了解的关键问题，以了解数据库的查询访问模式。在 时间序列数据和MongoDB：第二部分 - 模式设计最佳实践中， 我们探讨了时间序列数据的各种模式设计选项以及它们如何影响MongoDB资源。在这篇博文中，我们将介绍如何查询，分析和呈现MongoDB中存储的时间序列数据。了解客户端如何连接以查询数据库将有助于指导您设计数据模型和最佳数据库配置。查询MongoDB有多种方法。您可以使用本机工具（如 MongoDB Shell 命令行）和 MongoDB Compass（基于GUI的查询工具）。通过一系列以编程方式访问MongoDB数据 MongoDB驱动程序。几乎所有主要的编程语言都有驱动程序，包括C＃，Java，NodeJS，Go，R，Python，Ruby等等。
大脑区域之间的相互作用随着时间的推移而变化，这可以用时变功能连接(tvFC)来描述。估计tvFC的常用方法使用滑动窗口，并提供有限的时间分辨率。另一种替代方法是使用最近提出的边中心方法，这种方法可以跟踪成对大脑区域之间共同波动模式的每时每刻变化。在这里，我们首先研究了边时间序列的动态特征，并将其与滑动窗口tvFC (sw-tvFC)中的动态特征进行了比较。然后，我们使用边时间序列来比较自闭症谱系障碍(ASD)受试者和健康对照组(CN)。我们的结果表明，相对于sw-tvFC，边时间序列捕获了快速和突发的网络水平波动，这些波动在观看电影期间同步。研究的第二部分的结果表明，在CN和ASD中，大脑区域集体共同波动的峰值振幅的大小(估计为边时间序列的平方根(RSS)是相似的。然而，相对于CN, ASD中RSS信号的波谷到波谷持续时间更长。此外，高振幅共波动的边比较表明，网络内边在CN中表现出更大的幅度波动。我们的研究结果表明，由边时间序列捕获的高振幅共波动提供了有关脑功能动力学中断的细节，这可能被用于开发新的精神障碍生物标志物。
动态时间扭曲算法何时、如何以及为什么可以有力地取代常见的欧几里得距离，以更好地对时间序列数据进行分类
来源：深度学习爱好者本文约3200字，建议阅读10分钟本文与你分享时间序列分析的基础知识。 时间序列的定义 一个时间序列过程(time series process)定义为一个随机过程，这是一个按时间排序的随机变量的集合，也就是将每一个时刻位置的点作为一个随机变量。 是索引集合(index set)， 决定定义时序过程以及产生观测值的一个时间集合 。其中假定 随机变量 的取值是连续的。 时间索引集合 是离散且等距的。 在整个过程中，都采用以下符号： 随机变量(Random variables)用大写字
在时间序列预测中，时空预测是一种常见的方法，当各个时间序列存在空间关系时，将图神经网络引入，在之前的很多工作中都已经被验证了有明显的正向效果。然而，时空预测由于引入了空间结构信息，会导致模型的计算复杂度显著提升。那么，我们多大程度上需要图结构的信息呢？能否在不影响效果的前提下，减少图结构信息的引入，以此提升模型效率呢？KDD 2023中的一篇文章，就对这一方向进行了深入研究，提出了一种稀疏图时空预测方法，并验证了图结构信息在不同阶段（训练 or 预测）的作用。
加工速度是理解认知的重要概念。本研究旨在控制任务特异性，以了解认知加工速度背后的神经机制。对40名被试执行两种方式(听觉和视觉)和两种水平的任务规则(相容和不相容)的注意任务。block设计的功能磁共振成像在任务过程中捕捉到了BOLD信号。参考公开的用于处理速度的任务激活图，定义了13个感兴趣区域。认知速度是从任务反应时间得出的，这产生了六组连接性测量。混合效应LASSO回归显示，有六条重要路径提示了小脑-额叶网络预测认知速度。其中，3例为长程(2例额叶-小脑，1例小脑-额叶)，3例短程(额叶-额叶、小脑-小脑和小脑-丘脑)。长距离的连接可能与认知控制有关，而短距离的连接可能与基于规则的刺激-反应过程有关。揭示的神经网络表明，按照任务规则执行操作，自动性与自上而下努力控制注意力相互作用，解释了认知速度。 1 简述 本研究旨在通过使用一系列简单的视觉和听觉通道的刺激-反应(S-R)映射任务来解决可能的任务相关偏差。这个多任务设计目的是解决上面提到的特定于形态和功能偏向的。箭头任务最初是一种视觉S-R兼容性任务，为了更好地控制所需的感觉运动处理时间，回答涉及到关于所看到或听到的内容的简单反应，箭头任务后来被改编成视觉和听觉形式(图1)。为了减少任务转换效应和交叉试验的不确定性，我们采用了分组设计，而不是与事件相关的设计。此外，我们的目标是解决以前的研究中的方法论缺陷，这些研究利用皮尔逊的相关性和心理生理学相互作用(PPI)来建立基于连接性的模型来预测加工速度。在这项研究中，我们建立了六个连通性指标，包括四个基于多变量的指数，用于进行模型比较。通过将控制任务的反应时与控制感觉运动成分的实验任务的反应时进行回归，构造了一个认知速度变量。功能关联性模型的建立基于混合效应套索回归。据我们所知，本文在该领域首次采用跨通道多任务设计，并比较了6种方法对区域间交互作用辅助处理速度的建模结果。 2 方法 2.1 被试 从当地社区招募了40名年龄在18-28岁的健康年轻人参与研究。他们都有高中或以上学历。最终样本包括35名参与者(21.5±2.1岁，14名女性)，其中5名参与者被排除在分析之外。 2.2 处理速度任务 箭头任务被用来测量加工速度。它包括一个双选择S-R映射任务，具有相容(COM)、不相容(INC)和简单RT控制条件(NEU)(图1)。在COM中，参与者在出现向上箭头时按下“向上”按钮，在出现向下箭头时按下“向下”按钮(图1)。在INC中，参与者按下“向上”键表示向下箭头，按“向下”键表示向上箭头。实验涉及参与者在观看一条没有箭头的垂直线时按下任何按钮。因为在这些条件下出现的刺激是视觉图像，所以它们被称为COMVIS、INC-VIS和NEU-VIS。相同条件的听觉版本是COM-AUD、INC-AUD和NEU-AUD，向上箭头、向下箭头和垂直线分别被高音、低音和中音代替。
量化投资与机器学习微信公众号，是业内垂直于量化投资、对冲基金、Fintech、人工智能、大数据等领域的主流自媒体。公众号拥有来自公募、私募、券商、期货、银行、保险、高校等行业30W+关注者，荣获2021年度AMMA优秀品牌力、优秀洞察力大奖，连续2年被腾讯云+社区评选为“年度最佳作者”。 作者：Ignacio Oguiza 编译：1+1=6 前言 深度学习在时间序列预测中的重要性不断增强。神经网络第一次在Kaggle时间序列竞赛中位列前3名是在2015年（Rossmann store sa
早期的时间序列预测主要模型是诸如ARIMA这样的单序列线性模型。这种模型对每个序列分别进行拟合。在ARIMA的基础上，又提出了引入非线性、引入外部特征等的优化。然而，ARIMA类模型在处理大规模时间序列时效率较低，并且由于每个序列分别独立拟合，无法共享不同序列存在的相似规律。深度学习模型在NLP、CV等领域取得了成功应用后，也被逐渐引入到解决时间序列预测问题中。通过不同序列共享一个深度学习模型，让模型能从多个序列中学到知识，并且提升了在大规模数据上的求解效率。
Pandas是Python数据分析处理的核心第三方库，它使用二维数组形式，类似Excel表格，并封装了很多实用的函数方法，让你可以轻松地对数据集进行各种操作。
动态时间扭曲算法何时、如何以及为什么可以有力地取代常见的欧几里得距离，以更好地对时间序列数据进行分类（点击文末“阅读原文”获取完整代码数据）。
大家都知道预训练大型语言模型（LLMs）具有强大的表示学习能力和少样本学习，但要利用LLM处理时间序列，需要解决两个关键问题：
我们最近开发出了一种用于时间序列数据中因果推理的全新方法 [Ambrogioni et al., 2017]。我们称之为「GP CaKe」，即具有因果核的高斯过程（Gaussian Processes with Causal Kernels）。这种方法不仅缩写词（有「蛋糕」的意思）很美味，而且将向量自回归模型（VAR）那引人注目的特性与动态因果建模（DCM）优雅地结合到了一起。是的，确实是一举两得！
解决时间序列预测任务时，训练数据太少怎么办？在机器学习场景中，Domain Adaptation是一种解决数据稀疏的常用方法。其核心思路是利用数据充足的source domain样本进行充分学习，再将这些知识迁移泛化到target domain上，两个domain的数据分布往往具有比较大的差异，一般是不同场景的数据。
自监督学习（SSL）是一种机器学习方法，最近在各种时间序列任务上取得了令人印象深刻的表现。SSL最显著的优点是它减少了对标记数据的依赖。基于预训练和微调策略，即使是少量的标记数据也能实现高性能。
时间序列的聚类在时间序列分析中是非常重要的课题，在很多真实工业场景中非常有用，如潜在客户的发掘，异常检测，用户画像构建等。不同于一般样本聚类方式，时间序列因为其独特的时变特性，很多研究者都在探寻如何对其轨迹进行聚类。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
