1 基本概念
时间序列指的是按时间顺序排列的一组数字序列,而时间序列分析就是利用这组数列,应用数理统计方法加以处理,从而来预测未来事物的发展。该分析方法属于定量预测方法,既承认事物发展的延续性,应用历史数据即可推测事物发展趋势;其次也考虑了事物发展的随机性,为此要利用统计分析中各种方法对历史数据进行处理。目前该方法常应用在国民经济宏观控制、企业经营管理、区域综合发展规划、气象预报和环境污染控制等各个方面。
1.1 随机过程
设
是一列独立同分布的随机变量序列,令
则随机变量序列
为随机过程。
1.2 均值/协方差/方差函数
对于序列
而言:
Note: 为弱平稳的描述做准备。
1.3 平稳性
平稳性:时间序列的行为不随时间改变。
Why stationary?
简化问题的假设:
与任意整数k,如果:
与
的联合分布一致,那么称该序列强平稳。
1.4 差分方程
一阶差分方程:
一个变量在t时刻的值记录为
,t时刻和t-1时刻的值可以由以下一阶线性差分方程刻画:
阶差分方程:
差分方程的递归解:
动态乘子:
Note: 描述t时刻的扰动wt对于j时刻后的影响。 phi的取值以1为界对于过程的影响(消散,放大)。
1.5 延迟算子
令B为异步延迟算子,如果当前序列乘以一个延迟算子,表示把当前序列值的时间向过去拨一个时刻。使用延迟算子表示的一阶差分方程:
延迟算子的性质如下:
(1)
(2)若c为任意常数,则:
(3)
2 线性平稳时间序列
2.1 自回归过程(AR)
一阶自回归过程AR(1):
如
为平稳序列,且满足如下差分方程:
其中系数表示对前一项的依赖程度,扰动为白噪声序列,则称
满足一阶自回归模型。
平稳条件:
的根的绝对值小于1,即
Note: 这与差分方程中动态乘子的意义一致。
方差与均值:
利用延迟算子,一阶自回归模型可以表示为:
如果满足平稳条件,则可以表示为:
Note: 类似于一个数列极限。平稳则扰动项必须收敛,否则与影响无限扩大。AR1是一个无限阶的移动平均过程。
2.2 移动平均过程
一阶移动平均过程MA(1):
若满足如下方程:
其中
为常数,
为移动平均系数,
为白噪声过程,则称
满足一阶移动平均模型。
Note: 认为序列和前一时刻的扰动有关。
MA(1)的均值与方差:
2.3 自回归移动平均过程
ARMA(p,q)模型的一般表达式为:
2.4 相关系数
2.4.1 自相关系数ACF
AR(1)的自协方差与自相关系数:
Note:
这里是中心化后的序列,自协方差受幅度影响,相关系数去除幅度影响。
AR(p)的自协方差与自相关系数:
(Yule-Walker方程,系数阵正定,可解回归系数)
Note: p1=1,自己和自己的相关系数。模型定阶后可以求p阶协方差,解方程组。
MA(1)的自协方差与自相关系数:
高阶自相关系数均为0。
MA(q)的自协方差与自相关系数:
解非线性方程,可得滑动平均系数。
Note: for j>q, gamma=0,p=0,解非线性方程,可得滑动平均系数
ARMA(p,q)的自协方差与自相关系数:
先同乘以
,求均值得自协方差,得到Yule-Walker方程,求回归系数,然后构造:
为MA(q)序列,按MA(q)序列计算自协方差/自相关系数,解非线性方程得滑动回归系数。
2.4.2 偏相关系数PACF
Note: 用于定阶。
3 实际应用
3.1 模型(阶数)识别
序列
AR(p)
MA(q)
ARMA(p,q)
ACF | 拖尾 | q阶截尾 | 拖尾 |
PACF | p阶截尾 | 拖尾 | 拖尾 |
AIC/BIC准则:
选择最大阶数
,计算使AIC或者BIC最小的p、q,作为模型阶数。
Note: 耗时,每次要计算出模型,再计算拟合残差,MAXLAG^2次计算。
3.2 参数估计
极大似然估计:
以AR(1)为例:
序列观测值:
,
为白噪声,参数为
。
对于第一个样本,
,即
的概率分布:
Note: 假设X1的期望与方差,与2.3中分析的一致。如果认为初始值也服从
则忽略了初始值之前的影响。
考察,第二个样本
在
已知条件下的概率分布,由于
根据贝叶斯公式,
的联合分布为:
Note:
。常数
。
在前t-1个值已知的条件下,实际上
仅与
有关:
则
的联合分布为:
对数似然函数为:
Note: 求偏导数=0的点。
向量形式:
MA(1)的似然函数:
Note: epsilon序列可表示为
的函数,非线性函数。
向量形式:
ARMA(p,q)的极大似然估计:
令
,似然函数为:
Note: 参数包含在epsilon序列中。
4 一个实验
data:601000.ss, from 2014-8-9 to 2017-4-20,BIC准则定阶,前300个作为训练集,ARMA(4,0)。结果:
RMSE: 0.30651974757 MAPE: 0.012358387122