时序论文26｜CAFO：以特征为中心的时序分类可解释性探究

科学最Top | 公众号 【人工智能】 【时间序列】

时间序列的可解释性

在多变量时间序列（MTS）分类中，找到对模型性能起决定性作用的特征是一个关键但具有挑战性的任务。但由于MTS数据复杂且高维、时间动态性等多方面因素，使得这种分析并不容易。

当前的MTS解释方法主要集中在以时间为中心的解释。这种方法擅长识别重要的时间段，咱们举个例子就容易理解了，比如在医院做脑电图、心电图，出来一大堆折线图，其中对医生判断有帮助的可能就是某一段时间序列显示异常。听起来好像以时间为中心的解释也不错，但实际上这种方法还是有不足的。首先我们心电图这个场景其实还是比较简单，我印象中有12个传感器即可。但是放到工业场景，一个装备可能有成百上千个传感器，这就带来两个问题，一个是算起来比较复杂，另一个也不能很好地确定关键特征。

本文提出了一个以特征为中心的可解释时序分类方法，名为CAFO。以特征为中心的好处在于，咱们可以知道哪个传感器收集到的特征对模型分类起到重要作用，尝试删除特征、拿掉不重要的传感器就可以降低工业成本，提高分析的效率。本文贡献在于：引入通道注意力与特征正交化（CAFO）：（1）DepCA，一种新颖的基于卷积的框架，利用通道注意力来衡量特征重要性；（2）QR-Ortho，一种基于QR分解的正则化方法，确保特征的可分性，从而改进特征为中心的解释。

本文模型

前置知识点

MTS图像编码，将时序数据转换为图像格式，例如递归图（RP）或Gramian角域（GAF）。好处在于图像编码独立于特定的标准化方法，摆脱特定缩放方法的隐性偏见。增强了特征内部的时间依赖性表示，使重复模式变得更加明显并易于识别本文使用递归图捕捉MTS中的重复模式，并在附录中探索其他编码技术如GAF。

模型结构

上图是CAFO模型框架的概览，包含A、B、C三个模块。

(A) 端到端训练。原始时间序列通过图像编码方法转换为图像，然后使用DepCA+QR模块提取通道级的注意力分数。这些注意力分数与图像特征进行元素级乘法操作，用于端到端模型训练。

(B) DepCA评估特征贡献，同时QR-Ortho Loss通过正交化正则化最小化特征冗余。

(C) 特征重要性计算。通过全局重要性（GI）和类别相对重要性（CWRI）指标，利用计算得出的注意力分数来解释MTS数据。

这里只列出关键步骤，原文太长了：

1. 图像编码：将原始 MTS 转换为递归图 (RP)。
2. 计算注意力分数：通过 DepCA 模块计算通道注意力分数 ( a )。
3. 元素逐个相乘：将注意力分数与各自的通道元素逐个相乘。
4. 端到端训练：与下游主干模型（如 ResNet）一起进行端到端训练。
5. QR-Ortho 损失：确保注意力在特征维度上的正交性，减少特征冗余。
6. 计算重要性指标：利用注意力分数计算全局重要性（GI）和类别相对重要性（CWRI）。

评估实验

作者开发了用于评估全局和特定类别特征重要性的指标。通过在两个主要公共基准和真实世界数据集（包括合成数据和专门设计用于突出类别判别特征的自收集数据）上的广泛实证分析， CAFO 在多变量时间序列分类中解释特征重要性方面的有效性，特别是在与现有视觉模型和基于原始时间序列的方法相比时。通过使用 QR-Ortho 正则化和交叉熵损失函数，CAFO 能够提高模型在全局重要性（GI）度量上的性能，同时保持或提高模型的准确性。此外，CAFO 在识别关键特征方面的准确性也得到了验证，这对于那些旨在提高模型透明度和可解释性的研究人员来说是一个重要的进步。