9个时间序列交叉验证方法的介绍和对比

评估性能对预测模型的开发至关重要。交叉验证是一种流行的技术。但是在处理时间序列时，应该确保交叉验证处理了数据的时间依赖性质。在之前的文章中，我们也做过相应的介绍。

在本文中，我们收集了时间序列的常用的9种交叉验证方法。这些包括样本外验证(holdout)或流行的K-fold交叉验证的几个扩展。

TimeSeriesSplits通常是评估预测性能的首选方法。这种方法也称为时间序列交叉验证。但是我们这里列出的其他方法可能会有更好的结果。

Holdout

Holdout是估计预测效果最简单的方法。它的工作原理是进行一次分割(图1)。该序列的第一部分用于训练模型。这个模型在保留的观测中进行检验。

一般情况下训练集大小通常设置为观察总数的70%，可以使用scikit-learn中的train_test_split函数应用Holdout。

如果时间序列大小不大，使用单个分割可能会导致不可靠的估计。

时间序列交叉验证

进行多次拆分是个好主意。这样做可以在数据的不同部分上测试模型。一种方法是使用时间序列交叉验证。下面是该技术的可视化描述:

时间序列被分成K个连续的数据块。每个块首先用于测试模型，然后重新训练它。除了第一块，它只用于训练。时间序列交叉验证就是scikit-learn中TimeSeriesSplit实现。

带间隙的时间序列交叉验证

可以在上述技术中增加训练和验证之间的间隙(图3)。这有助于增加两个样本之间的独立性。使用TimeSeriesSplit类中的gap参数引入这个间隙。

滑动时间序列交叉验证

另一种应用时间序列交叉验证的方法是滑动窗口(图4)。在迭代之后老的数据块被丢弃。

这种方法可能在两种情况下有用:

数据量巨大

旧的观察已经过时了

这种变体也可以应用于训练样本和验证样本之间的间隙。

蒙特卡洛交叉验证

蒙特卡罗交叉验证是TimeSeriesSplit的另一种方法。下图是这种技术的直观图示。

与TimeSeriesSplits不同，每个迭代中的验证原点是随机选择的。

K-Fold交叉验证

K-fold交叉验证(图6)是一种用于评估模型性能的流行技术。它的工作原理是变换观察结果，并将它们分配给K个相等大小的折。然后每折都被用作验证而剩下的其他数据进行训练。

这种方法的主要优点是所有的观测结果都在某个时刻被用于验证。

但是整个过程是在观测是独立的假设下进行的。这对时间序列来说是不成立的。所以最好选择一种尊重观察的时间顺序的交叉验证方法。

但是在某些情况下，K-fold交叉验证对时间序列是有用的。例如，当时间序列是平稳的或样本量很小时。你可以在参考文献[1]中了解更多。

Blocked K-Fold交叉验证

一些专门设计的技术用于扩展时间序列的K-Fold交叉验证。

其中一种方法是阻塞K-Fold交叉验证。这个过程与之前相似，但是没有了打乱的部分。观察的顺序在每个块内保持不变，但在它们之间的关系被打破了。