深度学习时间序列异常检测方法

本文全面概述了深度学习用于时间序列异常检测的最新架构，提供了基于策略和模型的方法，并讨论了各种技术的优点和局限性。此外，还举例说明了近年来深度学习在时间序列异常检测中各领域的应用。

1 背景

时间序列是一系列按照时间顺序依次索引的数据点。最常见的时间序列形式是按时间记录的观察序列。时间序列通常分为单变量（一维）和多变量（多维）。随后，概述时间序列的可分解成分，并给出基于时间序列成分和特征的异常类型分类。

1.1 单变量时间序列

如图1所示，单变量时间序列（UTS）是基于单个变量随时间变化而形成的一系列数据记录；例如，记录一天中每小时的湿度水平就是这样一个例子。

图1 从NeurIPS-TS数据集绘制的不同时间异常的概述。全局和上下文异常发生在一个点上（蓝色），而其他类型，包括季节性、趋势和形状子序列，可以发生在子序列中（红色）。

1.2 多元时间序列

多元时间序列（MTS）表示多个随时间变化的变量，这些变量受过去值和其他变量的影响，并且存在相关性，可交替使用空间和交互度依赖性来描述。例如，除了湿度水平外，每小时还会记录气压和温度。图2展示了具有两个维度的MTS示例。

图2 多元时间序列中的度量间和时间-度量间异常。在此图中，度量1是电力消耗，度量2是CPU使用率。

1.3 时间序列分解

可以将时间序列 X 分解为四个组成部分，每个组成部分都表达了其运动的一个特定方面。这些组成部分如下：

• 长期趋势：数据在长时间内呈现出的上升或下降趋势。这种趋势反映了数据随时间的总体走势，但并不一定以线性方式进行。例如，某个地区的人口数量可能随时间呈非线性增长或减少，这取决于各种动态因素的作用。
• 季节性变化：时间序列数据在特定时间间隔内出现有规律的波动。这种波动通常呈现固定的周期性，例如，一项关于天然气/电力消耗的研究表明，全年的消耗曲线并不遵循相同的模式。不同季节和地区之间的模式也会有所不同。
• 周期性波动：时间序列数据在没有固定频率的情况下出现的上升或下降趋势。这种波动可能是由于自然事件（如每日温度变化）所导致的。
• 不规则变化：时间序列数据中随机、不规则的事件。这些事件通常是不可预测的，例如地震或洪水等灾难。不规则变化是时间序列数据中除长期趋势、季节性变化和周期性波动之外的残差。

时间序列是通过分别估计其四个组成部分来进行数学描述的，每个组成部分都可能偏离正常行为。

1.4 时间序列中的异常

异常指的是数据偏离一般分布的情况，例如一个单独的观测值（点）或一系列观测值（子序列）与一般分布存在很大偏差。在现实世界中，数据可能包含大量噪声，这种噪声对研究者而言可能是无关紧要的。时间序列数据集中可以看到概念漂移带来的变化，概念漂移指的是当值和趋势随时间缓慢或突然改变时出现的现象。

异常的类型。异常点在UTS和MTS中分为时间异常、跨度异常和时间-跨度异常三种类型。时间异常点可以与邻居或整个时间序列进行比较，并影响多个或所有维度。不同时间异常类型有多种常见的单变量时间序列。由于点异常，一个意外事件在某个时间点发生，并假定它是一个短序列。不同的时间异常类型如下：

• 全局异常：它们是时间序列中的峰值，相对于时间序列的其他部分具有极端值。例如，全局异常是客户在典型日子里支付的异常大额款项。图1左侧显示了全局异常的示例，其中-6与时间序列有较大偏差。
• 上下文：与给定上下文的偏差将被定义为与相邻时间点的偏差，此处定义为位于某一邻近范围内的时间点。这些类型的异常值是顺序数据中的小故障，是与其邻居值的偏差。一个点可能在一种情况下正常，而在另一种情况下则异常。例如，大型互动（例如节礼日的互动）被认为是正常的，但在其他日子则不然。
• 季节性：尽管时间序列的形状和趋势相似，但与整体季节性相比，它们的季节性是不同寻常的。例如，一周内餐馆的顾客数量。该系列具有明显的每周季节性，因此需要查找该季节性中的偏差，并对异常时期进行单独处理。
• 趋势：导致数据永久转变为其平均值并产生时间序列趋势转变的事件。虽然这种异常现象保持了正常的周期和季节性，但它的斜率却大大改变了。趋势有时会改变方向，这意味着它们可能会从增加变为减少，反之亦然。例如，当一首新歌出现时，它会流行一段时间，然后它就会从图表中消失，就像图1中趋势发生变化的部分一样，被认为是趋势异常。未来这种趋势很可能会重新启动。
• 形状：存在一个子序列，其形状或循环与序列的正常形状组件不同。经济状况的变动，如生产率或商品和服务的总需求和总供应，往往是这些波动的根源。在短期内，这些变化导致了经济扩张和衰退的时期。

这种情况下，动态时间扭曲（DTW）用于对两个时间序列进行最佳对齐，以确定它们之间的不同程度，常用于异常检测。MTS由多个维度组成，每个维度描述实体的不同方面。intermetric依赖指的是实体内部度量之间的空间依赖性。如果这种依赖性被打破，MTS会出现广泛的异常行为。图2左侧部分的示例显示了电力消耗和CPU使用率之间的正相关性在约100秒后中断，这种异常被称为intermetric异常。

从时间和度量角度看，间隔-时间异常均比较容易检测出来，因为这些异常违反了时间和度量的依赖关系，正如图2的右图所示。

2 深度异常检测方法

对于具有复杂结构的数据，深度神经网络是建模依赖关系的强大方法。图3展示了时间序列异常检测中深度学习体系结构的分类。

图3 时间序列异常检测中使用的深度学习架构

2.1 时间序列异常检测

本文中，时间序列异常检测的深度模型根据其主要方法和体系结构进行分类。时间序列异常检测文献中有两种主要的方法（图4中的学习组件）：基于预测的模型可以训练来预测下一个时间戳，而基于重构的模型可以部署来捕捉时间序列数据的嵌入。

图4 时间序列中深度异常检测模型的一般组件

表1和表2分别总结了基于它们处理的输入维度的单变量和多变量时间序列的异常检测模型。这些表格概述了以下方面的模型：(1)时间/空间，(2)学习方案，(3)输入，(4)可解释性，(5)点/子序列异常，(6)随机性，(7)增量。

表1 时间序列中的单变量深度异常检测模型

表2 时间序列中的多变量深度异常检测模型

深度模型以逐步或端到端方式处理输入（见图4），包括学习模块和异常评分模块。模型的输出可以是异常分数或输入的标签。异常分数是通过损失函数来定义的，例如重构概率或预测误差。评估指标包括AUC ROC、精确度和召回率等，有时也会用到点调整或基于段的评估技术来测量F1分数。局部性的Affiliation指标可用于评估时间序列异常检测任务。

2.2 基于预测的模型

基于预测的方法使用已学习模型预测点或子序列，通过比较预测值与实际值确定异常程度。大多数方法使用滑动窗口预测，模拟正常行为以识别异常。早期工作使用预测误差作为新颖性指标，而非异常分数。接下来将解释基于预测的体系结构。

循环神经网络（RNN）。由于RNN具有内部记忆，因此它们可以处理长度可变的输入序列并展现出时间动态特性。图5a展示了简单RNN体系结构的示例。

图5 (a)循环神经网络（RNN）、(b)长短期记忆单元（LSTM）和(c)门控循环单元（GRU）的概述。这些模型可以通过捕获时间序列中𝑥𝑡之前的𝑤样本窗口的时间信息来预测𝑥‘𝑡。使用误差|𝑥𝑡−𝑥‘𝑡|，可以计算出一个异常分数。

长短期记忆 (LSTM)。LSTM有望为 RNN 提供持续数千步的记忆。由于 RNN 架构（如图 5 所示）与 LSTM 单元的结合，深度神经网络可以实现出色的预测，因为它们包含长期依赖性。图 5b 中显示了 LSTM 单元的四个主要组件：单元、输入门、输出门和遗忘门。在可变的时间段内，单元记住值，而其他门控制信息流。

门控循环神经网络（GRU）。GRU是是LSTM的简化版，没有单独记忆单元，但信息流增加。GRU没有输出门，但有更新门和重置门。GRU和LSTM在多季节时间序列学习复杂模式有局限，训练成本高。建议使用AD-LTI预测模型，整合GRU网络和Prophet时间序列分解方法，显式馈送季节性特征到GRU网络中。在推断期间，除季节性特征外，还会给定时间序列。由于预测基于以前的数据，可能存在异常点，需要局部趋势不一致性(LTI)度量异常可能性。

卷积神经网络（CNN）。CNN是多层感知器的变种，以不同的方式进行正规化。数据中的层次模式使得它们可以使用更小和更简单的模式来构建日益复杂的模式。CNN包括多个层，如图6所示，包括卷积层、池化层和全连接层。

图6 基于输入数据窗口预测输入时间序列未来值的卷积神经网络（CNN）结构。由于时间序列本质上是时间依赖的，因此它只能在预测某个时间步t的输出x′t时使用之前观察到的输入。

CNN是多层感知器的变体，通过使用更小、更简单的模式构建越来越复杂的模式进行正规化。卷积层由可学习内核组成，进行卷积操作和池化总结。基于CNN的模型可以在训练阶段不需要大量数据，有效检测时间序列中的微小偏差。结构数据分析中，卷积网络可用于提取高级特征。时域卷积网络（TCN）通过膨胀卷积实现适用于时序数据的提取，模型可预测趋势变化。异常分数可通过拟合高斯分布预测误差得出，实现多元特征混合预测。

微软使用了单变量时间序列异常检测服务，包括Azure等产品。TCN自编码器使用两个时间卷积神经网络进行编码和解码，结合CNN架构和自编码器框架。准周期时间序列（QTS）经常被产生，例如心电图等生理信号。自动QTS异常检测框架通过TCQSA和HALCM实现两级聚类和抗噪声性，HALCM采用混合LSTM-CNN模型，通过三种注意力机制增强效果。

图神经网络（GNN）。过去几年，研究人员提出从MTS中提取空间信息并形成图结构。然后，时间序列异常检测问题转换为检测给定图结构的时间序列异常，并且 GNN 已用于对这些图进行建模。GNN 的结构如图 7 所示。

图7 用于多元时间序列异常检测的图神经网络（GNN）的基本结构，可以学习指标之间的关系（相关性）并预测时间序列的预期行为。

GNN通过学习空间结构增强多元时间序列数据建模能力。GCN聚合一步邻居建模节点特征表示，GAT使用注意力函数计算邻居权重。GDN将向量嵌入节点以捕获传感器特性，并将传感器间相关性捕获为图中边缘。GANF结合图形结构学习增强正规化流，通过分解时间序列密度学习条件密度，并使用基于图的依赖解码器总结计算系列密度所需的条件信息。从时间序列中提取图形结构并使用GNN进行建模，使得异常检测模型能够学习空间信息变化，是一个有希望的研究方向。

分层时间记忆（HTM）。使用分层时间处理进行异常检测的一个值得注意的例子是分层时间记忆（HTM）系统，该系统试图模仿新皮质中神经元细胞、区域和级别的层次结构[64]。如图 8a 所示为典型的 HTM 算法组件。

图8 (a) 基于分层时间存储器 (HTM) 的异常检测系统的组件。根据 HTM 系统的输出，它计算预测误差和异常可能性度量。(b) HTM 细胞内部结构。在 HTM 细胞中，树突被建模为重叠的检测器，它们之间有突触。上下文树突接收来自该层中其他神经元的横向输入。如果上下文树突上的横向活动足够，则细胞进入预测状态。

基于模型预测历史和误差分布情况，异常可能性是一种概率度量，表明当前状态是否异常，如图8a所示。在HTM序列记忆中，一层中排列着一列HTM神经元（图8b）。HTM包含多层区域，高层学习复杂模式，底层处理感官数据。顶层保存普遍概念，推断模式时解释子区域信息。HTM具有高容量和鲁棒性，可同时学习多个模式，识别空间和时间序列。

Numenta HTM可检测单变量时间序列中的时序异常，具有高效、适应数据变化和小异常检测能力，而Multi-HTM是学习模型，可解决广泛的异常检测问题。RADM是一个结合HTM和朴素贝叶斯网络的实时框架，用于多变量时间序列的无监督异常检测，通过HTM算法检测单变量时间序列中的异常，并将HTM与BN相结合以提高检测准确性。朴素贝叶斯网络易于使用并可以指定后验概率，用于细化新观测结果。定义健康因子α，以提高检查效率。

Transformer。Transformer是一种深度学习模型，根据不同部分的重要性，以不同的方式权衡输入数据。与RNN（循环神经网络）不同，Transformer可以同时处理整个数据。由于其架构仅基于注意力机制（如图9所示），因此可以在计算上高效的同时捕获长期依赖性。最近的研究利用Transformer来检测时间序列中的异常，因为它可以处理文本数据中的序列数据进行翻译。

图9 用于异常检测的变压器网络结构。Transformer使用编码器-解码器结构来模拟神经序列模型。编码器和解码器中都有多个相同的块。每个编码器块由多头自注意力模块和位置前馈网络组成。在解码过程中，交叉注意力模型被插入到多头自注意力模块和位置前馈网络之间。与循环神经网络不同，Transformer不包含任何循环或卷积。它不是直接对序列信息进行建模，而是采用添加到输入嵌入的位置编码。

GTA采用双向图结构学习多个物联网传感器之间的关系，通过影响传播图卷积自动学习传感器依赖关系。使用多尺度扩张卷积和图卷积提供分层时间上下文编码。SAnD使用注意力模型模拟临床时间序列，消除复发需要，通过自注意力模块和多个头捕获邻域内依赖关系，使用位置编码技术和密集插值嵌入技术表示时间顺序。

2.3 基于重建的模型

大多数复杂时间序列异常检测方法基于对时间序列的建模来预测未来值和预测误差，但尚不存在能针对快速连续变化时间序列产生准确模型的稳健预测模型（图10）。因此，基于预测的异常检测方法变得无效。随着时间点数量的增加，基于预测的模型会大大增加预测误差。为了克服这一缺陷，重建模型可能更为有效。通过将正常训练数据中的子序列编码到潜在空间中，构建了正常行为的模型。在测试阶段，模型无法重建异常子序列，得出重建误差，从而检测到异常。当重建概率低于指定的阈值时，会触发异常检测。

图10 时间序列在任何给定时刻可能是未知的，或者可能像 (b) 那样快速变化，该图说明了用于手动控制的传感器读数。这样的时间序列无法提前预测，使得基于预测的异常检测无效。

自动编码器（AE）。自编码器是一种神经网络，被广泛研究用于MTS异常检测的非线性降维能力形式。它包含编码器和解码器两个组件（如图11a），用于学习低维度表示并重建输入。理想情况下，自编码器可以精确重构输入并最小化重构误差。

图11 (a) 自动编码器的基本结构，它将输入窗口压缩为低维表示 (ℎ)，然后根据该表示重建输出 ˆ𝑋。(b) 变分自动编码器，接收大小为 𝑤 的输入窗口。通过压缩它，编码器创建潜在分布。使用来自参数化分布的采样数据作为输入，解码器输出 ˆ𝑋 尽可能接近 𝑋。

研究人员提出了稀疏自编码器、去噪自编码器和卷积自编码器等技术，以获取和表达主导信息。Sakurada和Yairi将自编码器应用于多时间序列降维并检测异常，结果表明自编码器能够检测到线性PCA无法检测到的异常组件，去噪自编码器可以提高自编码器的性能。DAGMM使用高斯混合先验估计MTS输入样本的概率，包括压缩网络和估计网络，但只考虑了空间上的相关性，没有考虑时间信息。ENCDEC-AD模型可以检测出不可预测的单变量时间序列中的异常，但没有考虑时间信息。MSCRED是一种基于注意力的ConvLSTM网络，用于捕捉时间趋势并编码、重构签名矩阵，从而检测异常。在CAE-Ensemble中，介绍了卷积序列到序列的自编码器，通过集成和参数转移策略提高准确性，减少训练时间和错误。RANSysCoders是eBay使用的实时异常检测方法，采用多编码器和解码器随机选择特征进行推断和异常定位。AMSL算法将自监督学习和记忆网络整合在一起，克服了正常数据有限的挑战，从而实现了端到端训练。

变分自动编码器（VAE）。图11b显示了变分自编码器（VAE）的典型配置，这是一种有向概率图模型，将神经网络自编码器与均值场变分贝斯（mean-field variational Bayes）结合在一起。

LSTM-VAE结合LSTM和变分自编码器，采用去噪自编码方法训练，使用动态阈值减少误报。Donut模型为监督式异常检测方法，使用修改的ELBO、缺失数据注入和MCMC插补。Bagel采用条件变分自编码器处理时间序列异常，考虑时间信息。STORN模型使用变分推理学习高维时间序列数据的概率生成模型。OmniAnomaly使用随机递归神经网络学习多元数据的稳健表示，并使用平面正规流描述潜在空间中的非高斯分布。InterFusion采用具有两个随机潜在变量的层次变分自编码器学习跨度量和时间表示，并采用预滤波策略防止过度拟合。MCMC imputation用于多变量时间序列以进行异常解释，并引入IPS作为分段度量。Buzz采用基于分区分析的对抗训练方法进行异常检测。SISVAE通过在训练深度生成模型之前进行平滑处理来检测点级异常。无监督的基于GRU的高斯混合VAE解决了时间序列数据固有的多模态分布问题。重编码器和潜在约束网络(VELC)被添加到VAE架构中以获得新的潜在向量，并用于最大化异常分数（重构误差），以便准确建模正常样本。VAE和LSTM集成到一个组件中用于无监督异常检测和稳健预测支持。谱残差(SR)被用于增强性能，为每个子序列分配一个权重以显示正常性的程度。TopoMAD是一种结合了图神经网络、LSTM和VAE的多元时间序列异常检测器，用于检测具有时空学习的云系统中的无监督异常。

生成式对抗性网络（GAN）。GAN是一种为基于博弈论的生成建模而设计的人工智能算法。在生成模型中，探索训练示例，并学习生成它们的概率分布。通过这种方式，生成对抗网络可以根据估计的分布生成更多的示例，如图12所示。

图12 生成对抗网络 (GAN) 的概述，由两个主要组件组成：生成器和鉴别器。生成器构造直接连接到鉴别器输入的时间序列的虚假输入窗口。鉴别器通过使用生成的实例作为负训练示例来学习区分真实时间序列和假窗口。可以通过组合经过训练的鉴别器和生成器来计算组合异常分数。

GAN已应用于多种用途，但因其依赖博弈论面临独特挑战。GAN模型在考虑对抗性学习时，使判别器对当前数据集之外的数据更敏感，数据重构更具挑战性。BeatGAN能够利用自编码器和GAN组合进行无标签重构，时间扭曲方法可提高检测准确性。GAN训练困难，需在判别器和生成器间保持平衡。DAEMON可检测时序数据中的异常。GAN采用先验分布和对抗策略拟合隐藏变量的后验分布。MAD-GAN是捕获时间关系的LSTM-RNNGAN模型，同时考虑潜在交互作用以检测异常。FGANomaly通过伪标签筛选可能的异常样本，降低过度拟合问题，更准确地捕获正常分布。

Transformers。研究者提出了一种名为Anomaly Transformer的模型，该模型采用注意力机制，对每个时间戳进行先验关联和序列关联建模，以捕捉关联差异，使罕见异常更加明显。TranAD是另一种基于变压器的异常检测模型，具有自调节和对抗训练，通过放大重构误差的对抗训练策略来解决当偏差过小无法检测异常的问题。Li等人提出了一种名为DCT-GAN的无监督方法，使用变压器处理时间序列数据、GAN模型用于重建样本和检测异常、扩张的CNN结构从潜在空间中提取时间信息，不同尺度的几个变压器生成器以获取粗粒度和细粒度的信息，提高泛化能力。MT-RVAE在变压器序列建模和VAE功能方面获得了显着的好处。

2.4 混合模型

混合模型将基于预测的模型与基于重构的模型相结合，以获得更好的时间序列表示。预测模型使用下一个时间戳的预测，而重构模型使用整个时间序列的潜在表示。可以使用联合目标函数同时优化两个模型。

自动编码器（AE）。深度卷积自动编码记忆网络（CAE-M）通过捕捉多传感器时间序列中的时空相关性，对目标分布进行近似，并建模基于标准化数据的广义模式。为降低过拟合，使用带有MMD罚项的深度卷积自动编码器。为表示时间依赖性，采用非线性双向LSTM和注意力机制以及线性自回归模型。贝叶斯滤波（NSIBF）是一种新型基于密度的时序异常检测框架，用于网络物理安全。通过递归状态空间模型，端到端训练神经网络跟踪隐藏状态的不确定性，以捕获CPS动力学。贝叶斯滤波自动应用于“已识别”的状态空间模型，以筛选出隐藏状态并估计观察值的似然性。NSIBF结合神经网络和贝叶斯滤波器的能力，高精度检测复杂CPS中噪声传感器数据中的异常。

循环神经网络（RNN）。TAnoGAN方法能够在有限的时间序列数据样本中检测到异常。TAnoGAN已经使用了涵盖多个主题的46个NAB时间序列数据集进行评估。实验表明，基于LSTM的GAN在通过对抗训练处理时间序列数据时，优于其他基于LSTM的GAN。

图神经网络（GNN）。基于两个并行图注意力层（GAT）用于多变量时间序列异常检测，可提取相关性并学习时间戳关系，结合预测和重建模型，具有诊断功能。FuSAGNet将SAE重建和GNN预测融合，发现复杂异常类型。结合GDN，嵌入传感器并使用循环单元捕获时间依赖关系。通过学习循环传感器嵌入和稀疏潜在表示，GNN在测试时预测期望行为。

3 深度学习在时间序列异常检测中的应用

3.1 物联网（IoT）

物联网（IoT）在监测发电厂工业设备和处理紧急情况中发挥着重要作用，对数据的分析和过滤可以识别异常并节省计算资源。Greenhouse使用多步前瞻性预测长短期记忆（LSTM）对大量物联网时间序列进行预测。半监督层次堆叠时间卷积网络（TCN）用于智能家居通信中的异常检测，但无法抵抗输入分布的变化。工业物联网（IIoT）产生大量数据，基于LSTM的模型可分析和预测IIoT设备的传感器数据，SCVAE用于无监督异常检测。

3.2 服务器机器监控与维护

云计算推动微服务架构发展，具有独立部署、快速交付和扩展灵活性。故障排除是关键，持续监控在线系统发现异常。SLA-VAE使用半监督VAE识别多元时间序列中的异常，提高稳健性。主动学习框架在线学习和更新检测模型。实验采用两种游戏业务云服务器数据，11个监控指标。物联网中，无线传感器网络(WSN)至关重要。AE模型用于WSN异常检测，无需与其他传感器或云通信，在传感器本地检测异常。通过真实WSN室内实验评估。

3.3 计算机网络

网络管理员需保护计算机网络免受攻击，入侵检测系统至关重要。传统滥用检测策略无法检测新入侵类型，异常检测通过学习正常网络行为检测新模式。CDN提供增强用户体验和更短响应时间。SDFVAE学习KPI潜在表示。NIDS使用深度学习技术获取高质量特征表示，应用于正常和异常流量记录。移动数据流量增长，RCAD提出分布式架构，使用HTM算法检测RTT异常。

3.4 城市事件管理

交通异常检测面临时空特性建模和异常标准差异挑战。Zhang等人提出时空分解框架，结合图嵌入算法和全连接核心神经网络，半监督学习空间和时间特征。生成器和鉴别器使用图卷积门控循环单元学习短期时空特征。位置和时间感知异常分数用于评估。CHAT基于层次注意力网络，结合双向循环层和时间注意力机制，捕获未来异常相关信息。Uber使用端到端神经网络架构进行不确定性估计，提高异常检测精度。GTransformer和TH-GAT分别研究图神经网络与注意力机制结合和时域分层图注意力网络，提高交通预测准确性。

3.5 天文研究

随着天文学观测和数据处理技术的进步，数据量呈指数级增长。光变曲线图是观测数据的一部分，通过研究光变曲线图，开辟了一种全新的天文事件检测方法，有助于观测到更多天文现象。文献中曾提出了一个LSTM神经网络用于预测光变曲线图。

3.6 航空航天

航天器异常检测系统至关重要，可提前发现潜在危险。新型变压器模型具有时间戳注意力机制和掩码策略。多模式无监督AD方法，结合深度AE和跳跃连接AE，实现大型设备（如LRE）和多源数据的可靠和自动异常检测。

3.7 自然灾害检测

实时地震检测需要高密度网络以充分利用廉价传感器。低成本加速度传感器用于地震检测，CNNs、CRNN和LSTM等算法用于分析、定位和预测地震。实时地震检测依赖于高密度网络和大量廉价传感器，可分析历史数据以找出遗漏事件。地震预测依赖于地震前兆数据，分为趋势变化和高频突变两类。LSTM网络可预测正常数据并判断行为是否异常。

3.8 医疗卫生

深度学习模型如RNNs、ESN、TCN、2D-CNN用于检测心脏病和老年痴呆症，捕捉心跳序列时序特征，即使在噪声环境下也能产生有前途的结果。EEG信号用于检测癫痫病，2D-CNN随机集成模型用于检测早期老年痴呆症症状。

3.9 能源

使用LSTM网络架构可以监测和检测工业时间序列中的故障。Wen和Keyes[181]使用CNN进行异常检测，以解决数据稀疏性问题。[14]中，基于CNN的滤波器提供额外安全层，帮助识别网络攻击并做出决策。Fan等人[59]提出基于自编码器的集成方法，用于分析建筑物中的能源时间序列，检测意外消耗模式和过度浪费。

3.10工业控制系统

事件驱动进程具有快速和慢速模式，难以模拟。THREAT使用系统调用和属性检测异常，内核级别检测提供对复杂机器对机器交互的新洞见。MIMO架构扩大模型规模并应对更严重威胁。基于MIMO的模型和扩展特征集增加异常检测范围。GAN用于异常检测和定位，多元时间序列转换为2D图像，利用卷积滤波器分析时间序列数据的时间关联和多变量之间的相关性。LSTM自编码器检测多元流中的异常，CNN处理半导体制造过程中产生的多元时间序列，MTS-CNN用于检测异常晶片并提供半导体生产中根本原因分析的有用信息。

3.11 机器人

工业机器人在现代制造业中提高生产率与质量，但故障可能导致灾难。SWCVAE用于检测多元时间序列中的异常，可预防潜在危险。LSTM-VAE分析24个人的1555个机器人喂食执行，包括12种异常。STORN的Sölch等人记录七个关节的联合配置，用于训练和测试Baxter机器人手臂，收集1000个无异常样本，300个异常样本用于测试。

3.12 环境管理

海洋工程中的结构和系统需要实时监测海洋环境，海洋观测系统（OOS）通过传感器和设备提供数据，必须在恶劣条件下工作。OceanWNN模型利用小波神经网络（Wavelet Neural Network）检测OOS中的异常，可实时工作并检测新的未知异常。废水处理厂需要优化运行，研究人员使用LSTM方法监测流程并检测集体故障。能源管理系统使用端到端CNN模型检测管道中的内部流噪声泄漏。

参考资料：《 Deep Learning for Time Series Anomaly Detection: A Survey》