量化研究--时序分类最新NN框架ShapeNet

炼丹笔记

发布于 2021-09-24 11:05:18

1.4K1

发布于 2021-09-24 11:05:18

文章被收录于专栏：炼丹笔记

作者：杰少，炼丹笔记嘉宾

ShapeNet_A Shapelet-Neural Network Approach for Multivariate Time Series Classification（AAAI21）

简介

快到周末了，就分享一篇处理MTSC问题的最新时间序列论文休闲放松一下。

时间序列shapelet是一种短的判别子序列，

然而，由于多变量时间序列分类（MTSC）的候选shapelets可能来自不同长度的不同变量，无法直接进行比较。

为了处理该挑战，本文提出了ShapeNet模型，

ShapeNet模型将不同长度的shapelet候选嵌入到统一的shapelet选择空间中。该网络使用类的triplet损失进行训练，其中考虑了anchor和多个正（负）样本之间的距离以及正（负）样本之间的距离，这对收敛非常重要。

我们计算具有代表性和多样性的最终形状元素，而不是直接使用所有嵌入来构建模型，以避免大量非判别的shapelet候选。

方案

背景知识

目前处理MTSC的shapelet方案主要面临三大挑战，

ShapeNet

ShapeNet采用采用dialted因果卷积神经网络（Dc CNN）学习时间序列子序列的新表示。dialted因果网络对于序列建模任务的有效性已被证明。dialted的卷积被用来改变卷积的感受野。因果卷积的设计应确保未来数据不会影响对过去数据的学习.

虽然输出可以与输入长度相同，但Dc-CNN无法处理不同长度的输入。因此，我们建议引入一个全局最大池化层和一个线性层，它们堆叠在最后一个DcCNN层的顶部，以将所有候选shapelet嵌入统一空间（如上图中1中的绿色框所示）。我们称之为多长度输入dialted因果CNN（Mdc CNN）。

上图进一步说明了Mdc CNN。编码器有i+1层residual模块，其中是dialted因子，全局最大池化层和线性层堆叠在residual模块的顶部。编码器的输入是时间序列是各种长度和变量的子序列，其输出是它们的统一表示。我们称之为输出shapelet候选嵌入。

训练（类似于word2vec）的目标是确保相似的时间序列获得相似的表示，反之亦然。然而，word2vec假设的第二个要求并不总是适用于时间序列。主要有以下三点：

我们可以很容易地观察到：

此处我们设计了下面的Loss

L(f(x), f(x^+), f(x^-)) = log\frac{D_{AP} + \mu}{D_{AN}} + \lambda D_{intra}

该函数的意义如下，我们希望和anchor的正样本距离尽可能的近，负样本的距离尽可能远，与此同时，类内的距离尽可能近。

在确定shapelet候选的统一表示之后，我们建议选择高质量和多样化的候选作为最终shapelet。最后，我们对MTS采用shapelet变换的过程，然后应用一个经典的分类器来解决MTSC问题。

我们根据上面的式子在所有Y簇中选择top-k候选，并检索原始时间序列子序列作为最终的shapelets.

Multivariate Shapelet Transformation是一种将多元时间序列转化为一个新的数据空间通过计算和一个最终的shaplets 的距离，表示为,其中

实验

我们发现：

在所有四个数据集中，随着shapelets的数量从5个增加到50个，精度迅速提高，然后略有下降。
这种趋势在ArticularyWordRecognition数据集中比其他数据集中更明显，因为ArticularyWordRecognition有25个类。因此，当shapelet数很小时（例如，5），进行分类要困难得多。基于此观察，默认的shapelet所有数据集的数量设置为50。

小结