如何使用Python超参数的网格搜索ARIMA模型

我们都知道用于时序分析和预测的ARIMA模型可能很难配置。

需要通过反复地审查诊断图和已经使用了40多年的启发式策略中训练并修正三个参数的错误。

我们可以通过使用网格搜索过程来自动化评估ARIMA模型的大量超参数的过程。

在本教程中,您将了解如何使用Python中的超参数网格搜索来调整ARIMA模型。

完成本教程后,您将知道:

  • 您可以使用一般程序来调整ARIMA的超参数以进行滚动式一步预测(rolling one-step forecast)。
  • 如何在标准单变量时间序列数据上应用ARIMA超参数优化。
  • 扩展更精细和强大的模型程序的思路。

让我们开始吧。

此图与文章无关

网格搜索方法

时间序列的诊断图可以与启发式策略一起使用以确定ARIMA模型的超参数。

他们可以大多数都可以确定ARIMA模型的参数,但有的时候不能确定。

我们可以使用不同的模型超参数的组合来自动化训练和评估ARIMA模型。在机器学习中,这被称为网格搜索或模型调整。

在本教程中,我们将开发一种网格搜索ARIMA超参数的单步滚动预测方法。

该方法分为两部分:

  1. 评估一个ARIMA模型。
  2. 评估一组ARIMA参数。

本教程中的代码使用Python库是scikit-learn,Pandas和statsmodels。

1.评估ARIMA模型

我们可以通过在训练数据集上准备ARIMA模型并评估测试数据集的预测来评估ARIMA模型。

这种方法涉及以下步骤:

  1. 将数据集分解为训练集和测试集。
  2. 按测试数据集中的时间序列进行预测。
    1. 训练一个ARIMA模型。
    2. 做一个一步的预测。
    3. 存储预测结果; 获取并存储实际观察结果。
  3. 计算与预期值的误差。

我们可以在Python中将其实现为一个新的独立函数,名为evaluate_arima_model(),它将时间序列数据集作为输入,以及具有pdq参数的元组作为输入。

数据集分为两部分:初始训练数据集为66%,测试数据集为剩余的34%。

我们需要对测试集的数据进行迭代。只需要一次迭代就可以提供一个可以用来对新数据进行预测的模型。迭代方法允许每个时间步骤训练新的ARIMA模型。

每次迭代都进行一次预测并存储在一个列表中。这样,在测试集结束时,所有预测都可以与期望值列表进行比较,并计算差值。所以我们就计算并返回均方误差数。

下面列出了完整的功能。

 # evaluate an ARIMA model for a given order (p,d,q)
def evaluate_arima_model(X, arima_order):
# prepare training dataset
train_size = int(len(X) * 0.66)
train, test = X[0:train_size], X[train_size:]
history = [x for x in train]
# make predictions
predictions = list()
for t in range(len(test)):
model = ARIMA(history, order=arima_order)
model_fit = model.fit(disp=0)
yhat = model_fit.forecast()[0]
predictions.append(yhat)
history.append(test[t])
# calculate out of sample error
error = mean_squared_error(test, predictions)
return error

现在我们已经知道如何评估一组ARIMA超参数,那接下来让我们来看看如何重复调用这个函数来对参数网格进行评估。

2.迭代ARIMA参数

评估一套参数是相对比较简单的。

用户必须指定pdq ARIMA参数的网格来迭代计算。并为每个参数创建一个模型,通过调用前一节中提到的evaluate_arima_model()函数来评估其性能。

该函数必须跟踪观察到的最低误差分数并记录它的配置参数。我们可以在函数末尾加个打印功能将这些信息打印到标准输出上(默认直接打印到屏幕)。

我们可以将这个名为evaluate_models()的函数实现这个功能,这个函数包含四个循环的。

还要考虑两个额外的问题。首先是确保输入数据是浮点值(而不是整数或字符串),如果不是浮点值这可能导致ARIMA过程失败。

其次,统计模型ARIMA程序内部使用数值优化程序为模型找到一组系数。这些程序可能会失败,还可能会引发异常。我们必须捕获这些异常并跳过导致问题的配置。出现的异常次数可能远远超出你的想象。

此外,建议对此代码忽略警告,以避免运行过程产生大量干扰信息。完成代码如下:

import warnings
warnings.filterwarnings("ignore")

最后,即使有了所有这些保护措施,底层的C和Fortran库仍然会有警告输出,例如:

 ** On entry to DLASCL, parameter number 4 had an illegal value

为简洁起见,这些告警内容已从本教程中报告的结果中删除。 下面列出了评估ARIMA超参数网格的完整过程。

# evaluate combinations of p, d and q values for an ARIMA model
def evaluate_models(dataset, p_values, d_values, q_values):
    dataset = dataset.astype('float32')
    best_score, best_cfg = float("inf"), None
    for p in p_values:
        for d in d_values:
            for q in q_values:
                order = (p,d,q)
                try:
                    mse = evaluate_arima_model(dataset, order)
                    if mse < best_score:
                        best_score, best_cfg = mse, order
                    print('ARIMA%s MSE=%.3f' % (order,mse))
                except:
                    continue
    print('Best ARIMA%s MSE=%.3f' % (best_cfg, best_score))

现在我们就有一个网格搜索ARIMA超参数的程序,让我们来测试两个单变量时间序列问题的过程。

我们将从洗发水销售数据集开始。

洗发水销售案例研究

洗发水销售数据集包括了3年内洗发水的月销售数量。

这些数据的单位是一个销售计数,有36个数据点。原始数据集归功于Makridakis,Wheelwright和Hyndman(1998)等人的收集工作。

从这里了解关于数据集的更多信息

下载数据集并将其放置到当前工作目录中,文件名为shampoo-sales.csv ”。

数据的时间轴并没有给出年份。所以我们可以使用自定义的日期分析函数加载数据和基准年(从1900年开始),如下所示:

 # load dataset
def parser(x):
    return datetime.strptime('190'+x, '%Y-%m')
series = read_csv('shampoo-sales.csv', header=0, parse_dates=[0], index_col=0, squeeze=True,date_parser=parser)

加载成功后,我们就可以指定一个pdq值的位置来搜索并传递给evaluate_models()函数。

我们将尝试一套滞后值(p)和几个差异迭代(d)和残差滞后值(q)。

# evaluate parameters
p_values = [0, 1, 2, 4, 6, 8, 10]
d_values = range(0, 3)
q_values = range(0, 3)
warnings.filterwarnings("ignore")
evaluate_models(series.values, p_values, d_values, q_values)

将这一切与上一节定义的通用函数联合使用,我们可以在洗发水销售数据集中网格搜索ARIMA超参数。

完整的代码示例如下所示。

import warnings
from pandas import read_csv
from pandas import datetime
from statsmodels.tsa.arima_model import ARIMA
from sklearn.metrics import mean_squared_error

# evaluate an ARIMA model for a given order (p,d,q)
def evaluate_arima_model(X, arima_order):
	# 读取测试集数据
	train_size = int(len(X) * 0.66)
	train, test = X[0:train_size], X[train_size:]
	history = [x for x in train]
	# 预测
	predictions = list()
	for t in range(len(test)):
		model = ARIMA(history, order=arima_order)
		model_fit = model.fit(disp=0)
		yhat = model_fit.forecast()[0]
		predictions.append(yhat)
		history.append(test[t])
	# calculate out of sample error
	error = mean_squared_error(test, predictions)
	return error

# evaluate combinations of p, d and q values for an ARIMA model
def evaluate_models(dataset, p_values, d_values, q_values):
	dataset = dataset.astype('float32')
	best_score, best_cfg = float("inf"), None
	for p in p_values:
		for d in d_values:
			for q in q_values:
				order = (p,d,q)
				try:
					mse = evaluate_arima_model(dataset, order)
					if mse < best_score:
						best_score, best_cfg = mse, order
					print('ARIMA%s MSE=%.3f' % (order,mse))
				except:
					continue
	print('Best ARIMA%s MSE=%.3f' % (best_cfg, best_score))

# load dataset
def parser(x):
	return datetime.strptime('190'+x, '%Y-%m')
series = read_csv('shampoo-sales.csv', header=0, parse_dates=[0], index_col=0, squeeze=True, date_parser=parser)
# evaluate parameters
p_values = [0, 1, 2, 4, 6, 8, 10]
d_values = range(0, 3)
q_values = range(0, 3)
warnings.filterwarnings("ignore")
evaluate_models(series.values, p_values, d_values, q_values)

运行该示例将打印每个成功完成评估的ARIMA参数和均方差(MSE)。

在运行结束时报告ARIMA(4,2,1)的最佳参数,均方误差为4,694.873。

ARIMA(0, 0, 0) MSE=52425.268
ARIMA(0, 0, 1) MSE=38145.167
ARIMA(0, 0, 2) MSE=23989.567
ARIMA(0, 1, 0) MSE=18003.173
ARIMA(0, 1, 1) MSE=9558.410
ARIMA(0, 2, 0) MSE=67339.808
ARIMA(0, 2, 1) MSE=18323.163
ARIMA(1, 0, 0) MSE=23112.958
ARIMA(1, 1, 0) MSE=7121.373
ARIMA(1, 1, 1) MSE=7003.683
ARIMA(1, 2, 0) MSE=18607.980
ARIMA(2, 1, 0) MSE=5689.932
ARIMA(2, 1, 1) MSE=7759.707
ARIMA(2, 2, 0) MSE=9860.948
ARIMA(4, 1, 0) MSE=6649.594
ARIMA(4, 1, 1) MSE=6796.279
ARIMA(4, 2, 0) MSE=7596.332
ARIMA(4, 2, 1) MSE=4694.873
ARIMA(6, 1, 0) MSE=6810.080
ARIMA(6, 2, 0) MSE=6261.107
ARIMA(8, 0, 0) MSE=7256.028
ARIMA(8, 1, 0) MSE=6579.403
Best ARIMA(4, 2, 1) MSE=4694.873

每日女性出生案例研究

“每日女性出生”数据集是来自1959年加州每天的女性出生人数。

单位是计数单位,有365数据点。数据集的来源归功于Newton(1988)。

在这里了解关于数据集的更多信息

下载数据集并将其放在当前工作目录中,文件名为daily-total-female-births.csv ”。

这个数据集可以直接作为Pandas Series轻松读取。

# load dataset
series = Series.from_csv('daily-total-female-births.csv', header=0)

为了简单起见,我们将探索与上一节中相同的ARIMA超参数网格。

# evaluate parameters
p_values = [0, 1, 2, 4, 6, 8, 10]
d_values = range(0, 3)
q_values = range(0, 3)
warnings.filterwarnings("ignore")
evaluate_models(series.values, p_values, d_values, q_values)

我们将前面的函数联合使用,我们就可以在“每日女性出生”数据集中网格搜索ARIMA参数。下面提供了完整的代码。

import warnings
from pandas import Series
from statsmodels.tsa.arima_model import ARIMA
from sklearn.metrics import mean_squared_error
 
# evaluate an ARIMA model for a given order (p,d,q)
def evaluate_arima_model(X, arima_order):
	# prepare training dataset
	train_size = int(len(X) * 0.66)
	train, test = X[0:train_size], X[train_size:]
	history = [x for x in train]
	# 预测
	predictions = list()
	for t in range(len(test)):
		model = ARIMA(history, order=arima_order)
		model_fit = model.fit(disp=0)
		yhat = model_fit.forecast()[0]
		predictions.append(yhat)
		history.append(test[t])
	# calculate out of sample error
	error = mean_squared_error(test, predictions)
	return error
 
# evaluate combinations of p, d and q values for an ARIMA model
def evaluate_models(dataset, p_values, d_values, q_values):
	dataset = dataset.astype('float32')
	best_score, best_cfg = float("inf"), None
	for p in p_values:
		for d in d_values:
			for q in q_values:
				order = (p,d,q)
				try:
					mse = evaluate_arima_model(dataset, order)
					if mse < best_score:
						best_score, best_cfg = mse, order
					print('ARIMA%s MSE=%.3f' % (order,mse))
				except:
					continue
	print('Best ARIMA%s MSE=%.3f' % (best_cfg, best_score))
 
# 读取数据
series = Series.from_csv('daily-total-female-births.csv', header=0)
# evaluate parameters
p_values = [0, 1, 2, 4, 6, 8, 10]
d_values = range(0, 3)
q_values = range(0, 3)
warnings.filterwarnings("ignore")
evaluate_models(series.values, p_values, d_values, q_values)

运行该示例打印每个配置成功评估的ARIMA参数和均方根误差。

最好的平均参数被报道为ARIMA(6,1,0),均方误差为53.187。

ARIMA(0, 0, 0) MSE=67.063
ARIMA(0, 0, 1) MSE=62.165
ARIMA(0, 0, 2) MSE=60.386
ARIMA(0, 1, 0) MSE=84.038
ARIMA(0, 1, 1) MSE=56.653
ARIMA(0, 1, 2) MSE=55.272
ARIMA(0, 2, 0) MSE=246.414
ARIMA(0, 2, 1) MSE=84.659
ARIMA(1, 0, 0) MSE=60.876
ARIMA(1, 1, 0) MSE=65.928
ARIMA(1, 1, 1) MSE=55.129
ARIMA(1, 1, 2) MSE=55.197
ARIMA(1, 2, 0) MSE=143.755
ARIMA(2, 0, 0) MSE=59.251
ARIMA(2, 1, 0) MSE=59.487
ARIMA(2, 1, 1) MSE=55.013
ARIMA(2, 2, 0) MSE=107.600
ARIMA(4, 0, 0) MSE=59.189
ARIMA(4, 1, 0) MSE=57.428
ARIMA(4, 1, 1) MSE=55.862
ARIMA(4, 2, 0) MSE=80.207
ARIMA(6, 0, 0) MSE=58.773
ARIMA(6, 1, 0) MSE=53.187
ARIMA(6, 1, 1) MSE=57.055
ARIMA(6, 2, 0) MSE=69.753
ARIMA(8, 0, 0) MSE=56.984
ARIMA(8, 1, 0) MSE=57.290
ARIMA(8, 2, 0) MSE=66.034
ARIMA(8, 2, 1) MSE=57.884
ARIMA(10, 0, 0) MSE=57.470
ARIMA(10, 1, 0) MSE=57.359
ARIMA(10, 2, 0) MSE=65.503
ARIMA(10, 2, 1) MSE=57.878
ARIMA(10, 2, 2) MSE=58.309
Best ARIMA(6, 1, 0) MSE=53.187

扩展

本教程中使用的网格搜索方法很简单,可以很容易地扩展。

本节列出了一些想法来扩展您可能希望探索的方法。

  • 种子网格(Seed Grid)。ACF(Auto Correlation Function)和PACF图的经典诊断工具仍然可以与用于搜索ARIMA参数网格的结果一起使用。
  • 备用措施(Alternate Measures)。该搜索将通过优化样本外均方误差。这可以更改为另一个样本外统计量,样本统计量,如AIC(Akaike information criterion)或BIC(Bayesian Information Criterion),或两者的组合。您可以选择对您的项目最有意义的指标。
  • 残差诊断(Residual Diagnostics)。统计数据可以自动计算残差,以提供合适的额外预测。例子包括残差分布是否为高斯的统计检验,以及残差是否存在自相关。
  • 更新模型(Update Model)。ARIMA模型是从头开始为每个单步预测创建的。通过仔细检查API,可以用新的观察值更新模型的内部数据,而不是从头开始重新创建。
  • 先决条件(Preconditions)。ARIMA模型可以对时间序列数据集进行假设,例如正态性和平稳性方面的假设。在给定的模型被训练之前,可以对这些数据集进行检查并给出警告。

总结

在本教程中,您了解了如何使用Python超参数的网格搜索ARIMA模型。

具体来说,你了解到:

  • 您可以使用网格搜索ARIMA超参数进行单步滚动预测的过程。
  • 如何应用ARIMA超参数调整标准单变量时间序列数据集。
  • 关于如何进一步改进ARIMA超参数网格搜索的思路。

现在就要你自己动手做实验了。

本文的版权归 Hi胡瀚 所有,如需转载请联系作者。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏申龙斌的程序人生

零基础学编程037:小数据分析

R语言内置强大的向量运算,是搞数据分析的强大的编程语言,而Python也毫不逊色。今天就试着分析一下考试成绩表中两门科目的相关性。 问题描述: 有一个CSV文件...

36590
来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

图像柔光效果(SoftGlow)的原理及其实现。

图像柔光效果在很多商业软件中都有实现,比如美图秀秀,光影魔术手等。其能针对原始图像产生一副新的比较平滑感觉光线比较柔和的效果,给人一种朦胧美,如下面几幅图所示...

267100
来自专栏IT派

业界 | 谷歌开源「Tangent」:一个用于自动微分的源到源Python库(附API概述)

近日,谷歌在其官方博客上开源了「Tangent」,一个用于自动微分的源到源 Python 库;它通过 Python 函数 f 生成新函数,来计算 f 的梯度,从...

38460
来自专栏数据小魔方

ggplot2双坐标轴的解决方案

本来没有打算写这一篇的,因为在一幅图表中使用双坐标轴确实不是一个很好地习惯,无论是信息传递的效率还是数据表达的准确性而言。 但是最近有好几个小伙伴儿跟我咨询关于...

50490
来自专栏AI研习社

手把手教你如何用 OpenCV + Python 实现人脸识别

下午的时候,配好了 OpenCV 的 Python 环境,OpenCV 的 Python 环境搭建。于是迫不及待的想体验一下 opencv 的人脸识别,如下文。...

83970
来自专栏PPV课数据科学社区

大数据竞赛平台-Kaggle入门篇

本文作者: wopon_ 来源:36大数据 本文长度为1500字,建议阅读4分钟 这篇文章适合那些刚接触Kaggle、想尽快熟悉Kaggle并且独立完成一个竞赛...

48680
来自专栏利炳根的专栏

学习笔记CB001:NLTK库、语料库、词概率、双连词、词典

聊天机器人知识主要是自然语言处理。包括语言分析和理解、语言生成、机器学习、人机对话、信息检索、信息传输与信息存储、文本分类、自动文摘、数学方法、语言资源、系统评...

311100

用 Python 进行时间序列数据可视化

随时间推移的观测数据的线图可视化是很受欢迎,但还有一些其他类型的图像您可以用来了解关于您的问题的更多信息。

7K90
来自专栏新智元

【重磅】Jeff Dean等提出自动化分层模型,优化CPU、GPU等异构环境,性能提升超 60%

谷歌大脑Jeff Dean等人最新提出一种分层模型,这是一种灵活的端到端方法,用于优化CPU、GPU等的自动化设备配置。该方法在多个主要神经网络模型上测...

34870
来自专栏海天一树

LDA文档主题生成模型入门

LDA(Latent Dirichlet Allocation)是一种文档主题生成模型,也称为一个三层贝叶斯概率模型,包含词、主题和文档三层结构。所谓生成模型,...

25020

扫码关注云+社区

领取腾讯云代金券