符号说明
王燕老师的书上的符号和我们老师讲课的符号有一些出入，虽然在写的过程中有意识地去使用赵老师上课用的符号但难免会有所疏漏，这里将两本书上符号的对应关系列一下:
| |
|---|
| |
自协方差函数：r(t−s,0)r(t-s,0)r(t−s,0) | |
| |
自协方差函数：
r(t-s,0)\gamma PACF:
\varphi\phi因为有些符号感觉是老师制作ppt不规范导致(甚至有些混乱)，所以这里就按照教材中的符号命名方法进行书写，可能会与ppt稍微有出入。
斜体或者标题加*内容为辅助理解内容
Introduction
传统的统计学习过程中我们用样本推断总体的方法时，我们希望分析的随机变量越少越好，同时每一个变量的信息(样本容量n)越大越好，这从两个方面保证了我们统计分析的合理性，而对于时间序列而言，因为引入了时间变量
T，我们将每一个时刻的值都视为一个随机变量，这样的话相当于对于每一个随机变量进行分析时我们只能使用这个时刻的数据，这对于统计分析的展开是非常不利的，这个时候很容易就想到能不能将不同时刻的数据结合在一起来对每一时刻的随机变量进行一个估计，这种做法的前提就是不同时刻对应随机变量的具有某种一定的相似性，这也就引出了我们所说的“平稳性”的概念，简单来说时间序列的平稳性就是在看随机变量的分布特征是否会随着时间改变。
特征统计量
这块主要是涉及对序列统计性质的描述，基本上和数理统计学到的内容一致.
- 均值
- 方差
- 自协方差函数和自相关系数（Auto Correlation Function）
这两部分和数理统计没有太大的出入，主要是一个概念的区分，之所以要在“相关系数”前加一个“自”,是因为这里研究的是两个相关变量是同一事件在两个不同时期之间的相关程度的度量，形象地来说就是度量自己过去的行为对自己现在的影响。
对于时间序列
{Z_t,t\in T}，定义自协方差函数
\gamma(t,s)为:
\gamma(t, s)=E\left(X_t-\mu_t\right)\left(X_s-\mu_s\right)(t,s\in T)
ACF
自相关系数（Auto Correlation Function）记为
\rho(t,s)为：
\rho(t, s)=\frac{\gamma(t, s)}{\sqrt{\gamma(t, t)\gamma(s, s)}}
平稳性
严平稳是一种条件十分苛刻的平稳，也是最先想到的平稳，也就是说我们会认为分布不会随时间改变的序列属于严平稳序列：
对于一个给定的时间序列
{Z_t}任何正整数
m和整数
t_1< t_2<… < t_m，此序列中的随机变量
(Z_{t_1+s},Z_{t_2+s},Z_{t_m+s})的联合分布函数(joint distribution function)与整数s无关,我们就认为该序列是严平稳的
从定义中不难看出，这种条件是很难进行验证的，在实际应用过程中，我们更可能会遇到一种比较宽松的平稳，也就是弱平稳：
在宽平稳中，我们放松了对随机变量分布的要求——一阶矩不随时间改变，二阶矩存在，同时为了防止相差太大，也对两个自协方差函数做出了一定要求:
\gamma(t, s)=E\left[\left(Z_t-\mu\right)\left(Z_s-\mu\right)\right]=\gamma(t-s, 0)
即认为宽平稳
宽平稳时间序列的性质:
\mu_t=\mu(\mu\text{固定常数})- 序列的自协方差函数与自相关系数只与时间间隔有关，与时间起点无关。
记间隔为
k的自相关系数为
\rho_k，于是有:
\rho(t, s)=\frac{r(t, s)}{\sqrt{r(t, t)} \sqrt{r(s, s)}}=\frac{r_k}{\sqrt{r_0} \sqrt{r_0}}=\frac{r_k}{r_0}=\rho_k
自相关系数的一些性质:
\rho_0=1且
|\rho_k|\le 1,\forall k\rho_{k}=\rho_{-k}除此以外，自相关系数还具有对应模型的非唯一性，一个平稳时间序列对应一个自相关系数，但是一个自相关系数未必对应一个平稳时间序列。
注意
严平稳与宽平稳之间并不存在是一个平稳序列就一定是另一个平稳序列的关系。事实上，一个严平稳序列，某一时刻的随机变量可以不存在二阶矩(Secondary Moment)，因此，它不一定是宽平稳序列；反之，一个宽平稳序列的分布不一定随时间推移而不变，也就不一定是严平稳序列。严平稳强调的是分布(distribution)，宽平稳强调的随机变量(Stochastic Variable)的数字特征(Numerical Characteristic)。
从图形分析序列的平稳性
严平稳要求每个变量的分布相同，这种平稳条件下的时间序列的图形可以看做一个是一个随机变量的分布图，宽平稳则要求均值相等和二阶矩有限，也就是说数据的时间图显示出T个值围绕特定常数水平上以相同幅度波动。
平稳序列自相关系数的估计
这个不是老师课堂讲的内容，感觉可以帮助加深对平稳性度量的理解。前边提到对平稳性的界定是为了能够对序列的特征进行估计，这里以估计平稳序列的均值和自相关系数为例来进行具体的说明:
对于一个宽平稳序列{Z_t}，该序列中随机变量对应的均值序列为:
{\mu_t,t\in T}
因为序列是平稳的，所以均值序列变为了常数列（
\mu_t=\mu）:
{\mu,t\in T}
这样对均值进行估计时就可以用到每一个随机变量的观察值，使得本来难以估计的均值变得可以估计（所有观察值都可以看做对均值的估计），这样的话对于序列均值的估计值就变成了:
\hat{\mu}=\bar{x}=\frac{\sum\limits_{i=1}^n x_i}{n}
同理，也可以得到基于全体观察样本得到的自协方差函数的估计值:
\hat{\gamma}(k)=\frac{\sum_{t=1}^{n-k}\left(x_t-\bar{x}\right)\left(x_{t+k}-\bar{x}\right)}{n-k}, \forall 0<k<n
自相关系数的估计值:
\begin{equation*} \begin{aligned} \hat{\rho}_k=\frac{\hat{\gamma}(k)}{\hat{\gamma}(0)}, \forall 0<k<n\\ \hat{\rho}_k \cong \frac{\sum_{t=1}^{n-k}\left(x_i-\bar{x}\right)\left(x_{t+k}-\bar{x}\right)}{\sum_{t=1}^n\left(x_i-\bar{x}\right)^2}, \forall 0<k<n \end{aligned} \end{equation*}
上述估计的条件是
k\ll n白噪声序列
白噪声序列是平稳序列的一种，之所以将这种序列单拿出来是因为这种序列有比较特殊的性质。我们对时间序列的分析是希望借助历史数据来预测未来走势，但是如果某一个序列中各项之间完全不相关，那么即使这种序列是平稳的，研究这种序列也是没有意义的。这种序列值之间不具有任何相关关系，波动完全随机的序列叫做纯随机序列，也叫做白噪声序列，严格定义如下:
(1) 任取
t \in T, 有
E X_t=\mu;
(2) 任取
t, s \in T, 有
\gamma(t, s)=\left\{\begin{array}{l}
\sigma^2, t=s \\
0, t \neq s
\end{array}\right.
白噪声序列的两条性质:
\gamma(k)=0DX_t=\gamma(0)=\sigma^2方差齐性是一条很重要的性质，根据马尔科夫定理，只有方差齐性下才会有OLS无偏估计的性质
平稳时间序列分析
基础方法
延迟算子:
线性差分方程的形式：
对于序列
\{z_t,t=0,\pm1,\pm2\},其线性差分方程定义为:
z_t+a_1 z_{t-1}+a_2 z_{t-2}+\cdots+a_p z_{t-p}=h(t)[p\ge1]
ARMA
ARMA模型的全称是自回归移动平均（autoregressionmovingaverage）模型，它是目前最常用的拟合平稳序列的模型。它又可以细分为AR模型 （autoregressionmodel）、MA模型（movingaveragemodel）和ARMA模型（autoregressionmovingaveragemodel） 三大类。
AR
AR§模型是一类自回归模型，用序列前q期的值对
z_t做回归:
\left\{\begin{array}{l}
x_t=\phi_0+\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t \\
\phi_p \neq 0(\text{限定最高阶数为p}) \\
E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_{\varepsilon} \varepsilon_s\right)=0, s \neq t (\{\varepsilon\}\text{为零均值白噪声序列})\\
E x_t \varepsilon_t=0, \forall s<t（\text{当前随机干扰与过去序列值无关}）
\end{array}\right.
一般会默认省去式中的限制条件，将模型简单记作:
x_t=\phi_0+\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t
另外也可以对
\{x_t\}做中心化处理得到一个中心化序列（
\phi_0=0）,这样的简化能够使得模型更加简洁。
AR（p）引入延迟算子之后的形式为:
\begin{equation} \begin{aligned} & x_{t-1} =B x_t \\ &x_{t-2} =B^2 x_t \\ & \dots \\ &x_{t-p} =B^p x_t\\ &x_t=\phi_1 x_{t-1}+\phi_2 x_{t-2}+\cdots+\phi_p x_{t-p}+\varepsilon_t\\ &=\phi_1 B x_t+\phi_2 B^2 x_t+\cdots+\phi_p B^p x_t+\varepsilon_t \end{aligned} \end{equation}
接着对上式进行一步简化:
\begin{equation} \begin{aligned} &x_t-\phi_1 B x_t-\phi_2 B^2 x_t-\cdots+\phi_p B^p x_t=\varepsilon_t\\ &(1-\phi_1 B-\phi_2 B^2-\cdots+\phi_p B^p )x_t=\varepsilon_t\\ &\varPhi(B)x_t=\varepsilon_t \end{aligned} \end{equation}
其中
\varPhi(B)称为p阶自回归系数多项式,注意与线性差分方程的特征方程区分开（后来有证明二者的根互为倒数）:
\lambda^p-\phi_1 \lambda^{p-1}-\phi_2 \lambda^{p-2}-\cdots-\phi_p=0
后来在寻找AR§模型平稳的条件时，需要解对应的线性差分差分方程，要求特征根的模长均小于1来保证序列是平稳的，又因为证明了线性回归系数多项式的零点和特征根是倒数关系，所以要求AR§模型的自回归系数多项式
\varPhi(B)=0的根在单位圆外。
这块老师ppt上以一阶和二阶自回归模型的平稳性条件做了进一步说明，简单来说就是要求根都在圆外，我就不重复了，主要讨论一下二者的ACF和PACF情况
PACF
对于自相关系数来说，虽然分析的是两个变量之间的相关性，但是因为
X_t会受到
X_{t-1},X_{t-2}\dots的影响，因此一定程度上并不是两个变量之间纯的相关关系，而偏自相关系数就很好的解决了这个问题，它提出了中间变量的干扰，来测度
x_{t-k}对
x_t的影响，数学语言描述:
\rho_{x_t, x_{t-k} \mid x_{t-1}, \cdots, x_{t-k+1}}=\frac{E\left[\left(x_t-\tilde{E} x_t\right)\left(x_{t-k}-\hat{E} x_{t-k}\right)\right]}{E\left[\left(x_{t-k}-\hat{E} x_{t-k}\right)^2\right]}
式中,
\hat{E} x_t=E\left[x_t \mid x_{t-1}, \cdots, x_{t-k+1}\right], \hat{E} x_{t-k}=E\left[x_{t-k} \mid x_{t-1}, \cdots, x_{t-k+1}\right] 。这就是滞后
k 偏自相关系数的定义。
可以证明,对于中心化平稳序列来说有：
\begin{equation} \begin{aligned} x_t=\phi_{k1} x_{t-1}+\phi_{k2} x_{t-2}+\cdots+\phi_{kk} x_{t-k}+\varepsilon_t \\ \frac{E\left[\left(x_t-\tilde{E} x_t\right)\left(x_{t-k}-\hat{E} x_{t-k}\right)\right]}{E\left[\left(x_{t-k}-\hat{E} x_{t-k}\right)^2\right]}=\phi_{kk} \end{aligned} \end{equation}
换言之也就是说k阶偏自相关系数实际上就等于k阶自回归模型第k个回归参数
\phi_{kk}的值。具体的求解过程，这里以老师PPT上的二阶PACF的求解为例进行说明，阶数升高方法仍相同，本质上都是克莱姆法则求方程的解。
二阶自回归模型:
\begin{equation} x_t=\phi_{21} x_{t-1}+\phi_{22} x_{t-2}+\varepsilon_t \end{equation}
对上式分别乘
x_{t-1}和
x_{t-2}然后取期望可得：
\begin{aligned}
& \gamma_2=\phi_{21} \gamma_1+\phi_{22} \gamma_0\left(\text{同乘} x_{t-2}\right) \\
& \gamma_1=\phi_{21} \gamma_0+\phi_{22} \gamma_1\left(\text{同乘}x_{t-1}\right)
\end{aligned}
然后约去
\gamma_0得到:
\begin{aligned}
\rho_1 &\phi_{21}+&\phi_{22} &=\rho_2 \\
&\phi_{21}+\rho_1 &\phi_{22} &=\rho_1
\end{aligned}
由Crammer法则可得:
\begin{aligned}
&D=\left|\begin{array}{ll}
\rho_1 & 1 \\
1 & \rho_1
\end{array}\right| \quad D_2=\left|\begin{array}{ll}
\rho_1 & \rho_2 \\
1 & \rho_1
\end{array}\right| \\
\end{aligned}
故
\displaystyle\phi_2=\frac{D_2}{D}=\frac{\rho_2-\rho_1^2}{1-\rho_1^2}。
可以证明，对于AR§模型，当k>p时，最后解得的
\phi_{kk}=0,这也是AR§模型的一个重要特性，即滞后p阶以后的偏自相关系数都为0，因此可以通过观察PACF图来判断模型的阶数。
AR(1)
对于
A R(1) 模型：
x_t=x_1 x_{t-1}+\varepsilon_t
对应的
A C F :
\begin{aligned}
\gamma_k=& E\left(x_t-u_t\right)\left(x_{t-k}-u_{t-k}\right) \\
=& E\left(x_t x_{t-k}\right) \\
=& E\left(x_1 x_{t-k} x_{t-1}+\varepsilon_t x_{t-k}\right) \\
=& \phi_1 E\left(x_{t-k} x_{t-1}\right) \\
=& \cdots \\
=& \phi_1^k E\left(x_{t-k}^2\right) \\
=&\phi_1^k \gamma_0
\end{aligned}
于是:
\rho_k=\frac{r_k}{r_0}=\phi_1^k
又因为对于一阶回归系数对应的零点为
B=\frac{1}{\phi_1}>1，因此
\phi_1<1,故
\rho_k会随着
k的增大呈指数级下降，这种现象又叫做拖尾，会离0越来越近。
PACF:
AR(2)
AR(2)模型的求解相对来说会复杂一点，但是整体思路是比较一致的，这里写下AR(2)模型的ACF和PACF的求解过程：
ACF:
x_t=\phi_1 x_{t-1}+\phi_2 x_{t-2}+\varepsilon_t
对上式同乘
x_{t-k} 然后取期望:
\begin{aligned}
E\left(x_t x_{t-k}\right) &=E\left(\phi_1 x_{t-1} x_{t-k}\right)+E\left(\phi_2 x_{t-2} x_{t-k}\right) \\
E\left(\varepsilon_t x_{t-k}\right) &=0\\
\text{于是有:}r_k&=\phi_1 r_{k-1}+\phi_2 r_{k-2}
\end{aligned}
解上式对应的差分方程得：
\begin{aligned}
&\gamma_k=C_1\left(\lambda_1\right)^k+C_2\left(\lambda_2\right)^k \\
&\lambda_1=\frac{\phi_1+\sqrt{\phi_1^2+4\phi_2}}{2}=\frac{1}{B_1}<1 \\
&\lambda_2=\frac{\phi_1-\sqrt{\phi_1^2+4 \phi_2}}{2}=\frac{1}{B_2}<1
\end{aligned}
即随着k的增大，
\gamma_k会呈指数级下降，为拖尾。
- 若为实根， 呈指数衰减；
- 若为复根， 星阻尼正玄波衰减
PACF:
\begin{aligned}
\phi_{11}&=\gamma_1=\frac{\phi_1}{1-\phi_2} \\
\phi_{22}&=\frac{\gamma_2-\gamma_1 \phi_{11}}{1-\gamma_1 \phi_{11}} \\
&=\frac{\gamma_2-\gamma_{1 }^2}{1-\gamma_1^2}=\phi_2\\
\phi_{21}&=\phi_{11}-\phi_{22} \phi_{11} \\
&=\gamma_1-\phi_2 \gamma_1=\frac{\phi_1}{1-\phi_2}-\frac{\phi_1 \phi_2}{1-\phi_2}=\phi_1 \\
\phi_{33}&=\frac{\gamma_3-\gamma_2 \phi_{21}-\gamma_1 \phi_{22}}{1-\gamma_1 \phi_{21}-\gamma_2 \phi_{22}} \\
&=\frac{\phi_1 \gamma_2+\phi_2 \gamma_1-\gamma_2 \phi_1-\gamma_1 \phi_2}{1-\gamma_1 \phi_1-\gamma_2 \phi_2}=0
\end{aligned}
当 k≥3k \geq 3k≥3时, \phi_{k k}=0, 为截尾现象。
p步尾截和前边的自相关系数拖尾性是AR§模型两条比较重要的性质，它们决定了AR§模型的收敛性和稳定性。p步尾截是指AR§模型的自相关系数在p步以后都为0，而拖尾是指AR§模型的自相关系数在p步以后呈指数衰减。p步尾截和拖尾是AR§模型的两个重要性质，它们决定了AR§模型的收敛性和稳定性。p步尾截是指AR§模型的自相关系数在p步以后都为0，而拖尾是指AR§模型的自相关系数在p步以后呈指数衰减。
MA
q阶移动平均模型
MA(q):
\left\{\begin{array}{l}
x_t=\mu+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\theta_2 \varepsilon_{t-2}-\cdots-\theta_i \varepsilon_{t-q} \\
\theta_q \neq 0 \text{限制最高阶数}\\
E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_t \varepsilon_s\right)=0, s \neq t\text{零均值白噪声序列}
\end{array}\right.
引入延迟算子，模型可以简记为:
x_t=\Theta(B) \varepsilon_t
式中,
\Theta(B)=1-\theta_1 B-\theta_2 B^2-\cdots-\theta_4 B^q, 称为
q 阶移动平均系数多项式。
该模型的几条性质：
\operatorname{Var}\left(x_t\right)=\operatorname{Var}\left(\mu+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\theta_2 \varepsilon_{t-2}-\cdots-\theta_t \varepsilon_{t-q}\right)=\left(1+\theta_1^2+\cdots+\theta_q^2\right) \sigma_{\varepsilon}^2
ACF
ACF和PACF的计算老师都是以MA(1)模型为例，这里和教材上思路一样试着推导一下q阶MA模型的ACF和PACF，主要还是对假设条件的运用。
自协方差函数:
\begin{aligned}
x_t&=\mu+\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}\\
\gamma_k&=E\left(x_t-u\right)\left(x_{t-k}-u\right)\\
&=E\left(\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}\right)\left(\varepsilon_{t-k}-\sum_{i=1}^q \varepsilon_{t-k-i}\right)\\
\end{aligned}
故
E(\gamma_k)=0
q<k,因为
\displaystyle\varepsilon_t-\sum_{i=1}^q \theta_t \varepsilon_{t-i}和
\displaystyle \varepsilon_{t-k}-\sum_{i=1}^q \varepsilon_{t-k-i}不存在交叉项，所以:
\gamma_k=0
q \geqslant k \geqslant 1\begin{aligned}
\gamma_k&=E\left(-\sum_{t=k}^a \theta_i \varepsilon_{t-i}\right)\left( \varepsilon_{t-k}-\sum_{i=1}^{q-k}\theta_i \varepsilon_{t-k-i}\right)\\
&=E\left(-\theta_k \varepsilon_{t-k}^2\right)+E\left(\sum_{i=1}^{1-k} \theta_i \theta_{k+i} \varepsilon_{t-k-i}^2\right)\\
&=\left(-\theta_k+\sum_{i=1}^{q-k} \theta_i \theta_{k+i}\right) \sigma_{\varepsilon}^2\\
\end{aligned}
k=0\begin{aligned}
\gamma_0&=E\left(\varepsilon_t-\sum_{i=1}^q \theta_i \varepsilon_{t-i}\right)^2\\
&=\left(1+\sum_{i=1}^a \theta_i^2\right) \sigma_{\varepsilon}^2
\end{aligned}
综上可得
MA(q)模型的ACF为:
\begin{equation} \begin{aligned} \gamma_k&=E\left(x_t-u\right)\left(x_{t-k}-u\right)\\ &= \begin{cases}\displaystyle\left(1+\theta_1^2+\cdots+\theta_q^2\right) \sigma_{\varepsilon}^2, & k=0 \\ \left(-\theta_k+\sum\limits_{i=1}^{q-k} \theta_i \theta_{k+i}\right) \sigma_{\varepsilon}^2,& 1 \leqslant k \leqslant q \\ 0, & k>q\end{cases} \end{aligned} \end{equation}
MA(q)模型的自相关系数
\rho_k为:
\begin{equation} \rho_k=\frac{\gamma_k}{\gamma_0}= \begin{cases}\displaystyle1, & k=0 \\ \displaystyle\frac{-\theta_k+\sum\limits_{i=1}^{q-k} \theta_i \theta_{k+i}}{1+\theta_1^2+\cdots+\theta_q^2}, & 1 \leqslant k \leqslant q \\ 0, & k>q\end{cases} \end{equation}
自相关系数q阶截尾。
PACF
计算公式:
\begin{equation} \begin{aligned} \phi_{11}&=\rho_1 \\ &=\frac{-\theta_1}{\left(1+\theta_1^2\right)}=\frac{-\theta_1\left(1-\theta_1^2\right)}{1-\theta_1^4} \\ \phi_{22}&=\frac{\rho_2-\rho_1 \phi_{11}}{\rho_1 \phi_{11}} \\ &=\frac{-\rho_1^2}{1-\rho_1^2}=\frac{-\theta_1^2\left(1-\theta_1^2\right)}{1-\theta_1^6}\\ \phi_{33}&=\frac{\rho_3-\rho_2 \phi_{21}-\rho_1 \phi_{22}}{1-\rho_1 \phi_{21}-\rho_2 \phi_{22}} \\ &=\frac{\rho_1^3}{1-2 \rho_1^2}=\frac{-\theta_1^3\left(1-\theta_1^2\right)}{1-\theta_1^8} \end{aligned} \end{equation}
MA（q）模型的PACF是不断减小的，为拖尾。
可逆性
前边在介绍自相关系数的时候有提到过自相关系数的非唯一性:一个自相关系数未必唯一对应一个平稳时间序列模型。
因为这种非唯一性可能会影响我们根据样本自相关系数来选择拟合模型，所以这里为了让MA模型和自相关系数能一一对应，引入一个约束条件，也叫做MA模型的可逆性条件。
可逆性条件老师的ppt有提到，但是我不知道是否有展开说明，可逆性在老师ppt上唯一的体现是老师说了MA模型是可逆的。
可逆性判断条件:若一个MA模型能够表示成收敛的AR模型形式，那么该MA模型是可逆的，一个自相关系数唯一对应一个可逆的MA模型:
AR和MA 模型的表示形式是比较对称的，不过一个是对
\varepsilon_t进行了一个k阶延迟，一个是对
x_t做了一个延迟，所以只能说两者相近，MA的可逆概念和AR的平稳概念是近似的，最后都是让对应的k阶系数多项式有在单位圆外的根。
教材里给出了求逆转形式的方法，这里就不再进行说明。
ARMA模型
ARMA(p,q)相当于是把AR§和MA(q)结合了起来:
\left\{\begin{array}{l}
x_t=\phi_0+\phi_1 x_{t-1}+\cdots+\phi_p x_{t-p}+\varepsilon_t-\theta_1 \varepsilon_{t-1}-\cdots-\theta_{q} \varepsilon_{t-q} \\
\phi_p \neq 0, \theta_q \neq 0 \\
E\left(\varepsilon_t\right)=0, \operatorname{Var}\left(\varepsilon_t\right)=\sigma_{\varepsilon}^2, E\left(\varepsilon_t \varepsilon_s\right)=0, s \neq t \\
E\left(x_{s} \varepsilon_t\right)=0, \forall s<t
\end{array}\right.
对于中心化ARMA模型，可以省略
\phi_0,引入延迟算子,ARMA(p,q)可以简记为:
\Phi(B) x_t=\Theta(B) \varepsilon_t
式中,
\Phi(B)=1-\phi_1 B-\cdots-\phi_p B^p, 为
p 阶自回归系数多项式。
\Theta(B)=1-\theta_1 B-\cdots-\theta_q B^q, 为
q 阶移动平均系数多项式。
显然,
当
q=0 时,
\mathrm{ARMA}(p, q) 模型就退化成了
\mathrm{AR}(p) 模型;
当
p=0 时,
\mathrm{ARMA}(p, q) 模型就退化成了
\mathrm{MA}(q) 模型。
所以,
\mathrm{AR}(p) 模型和
\mathrm{MA}(q) 模型实际上是
\mathrm{ARMA}(p, q) 模型的特例, 它们都统 称为
\mathrm{ARMA} 模型。而
\mathrm{ARMA}(p, q) 模型的统计性质也正是
\mathrm{AR}(p) 模型和
\mathrm{MA}(q) 模型 统计性质的有机组合。
平稳条件和可逆条件
ACF和PACF的计算都要用到Green函数，这个函数老师貌似并没有提到，这里为了降低理解的难度只以ARMA(1,1)为例展开说明。
MA模型中引入的u充当的其实就是AR模型中的
z_t的角色。
ACF
- k=0
\begin{aligned}
\gamma_0 &=E\left(x_t x_t\right) \\
&=E\left(\phi_1 x_t x_{t-1}\right)+E\left(x_t \varepsilon_t\right)-\theta_1 E\left(x_t \varepsilon_{t-1}\right) \\
E\left(x_t \varepsilon_t\right)&=E\left(\phi_t x_{t-1} \varepsilon_t\right)+E\left(\varepsilon_t^2\right)-\theta_1E\left(\varepsilon_t \varepsilon_{t-1}\right)\\
&=\sigma_{\varepsilon}^2\\
E\left(x_t \varepsilon_{t-1}\right) &=\phi_1 E\left(x_{t-1} \varepsilon_{t-1}\right)+E\left(\varepsilon_t \varepsilon_{t-1}\right)-\theta_1\left(\varepsilon_{t-1} \varepsilon_{t-1}\right) \\
&=\phi_1 \sigma_{\varepsilon}^2-\theta_1 \sigma_{\varepsilon}^2\\
\text{故}\gamma_0 &=\phi_1 \gamma_1+\sigma_{\varepsilon}^2-\theta_1\left(\phi_1 -\theta_1 \right)\sigma_{\varepsilon}^2
\end{aligned}
- k>0,方程两边同乘
x_{t-k}, 并取期望得:
\begin{equation} \begin{aligned} E\left(x_{t-k} x_t\right)&=\phi_1 E\left(x_{t-k} x_{t-1}\right)+E\left(x_{t-k} \varepsilon_t\right)-\theta_1 E\left(x_{t-k} \varepsilon_{t-1}\right) \\ \gamma_k&=\phi_1 \gamma_{k-1}+E\left(x_{t-k} \varepsilon_t\right)-\theta_1 E\left(x_{t-k} \varepsilon_{t-1}\right) \\ \end{aligned} \end{equation}
最后可以得到：
\rho_k=\left\{\begin{array}{l}
\frac{\left(\phi_1-\theta_1\right)\left(1-\phi_1 \theta_1\right)}{1+\theta_1^2-2 \phi_1 \theta_1}(k=1) \\
\phi_1 \rho_{k-1}(k \geq 2)
\end{array}\right.
因为
\left|\rho_1\right|<1 (一阶自相关系数)
\begin{aligned}
& \left|\phi_1\right|<1,\left|\theta_1\right|<1, \rho_2=\phi_1 \rho_1, \\
& \rho_3=\phi_1 \rho_2=\phi_1^2 \rho_1 \ldots,
\end{aligned}
可见
\rho_k 是衰减的, 呈现拖尾现象
PACF
PACF也是拖尾的，因为计算形式复杂这里就不再展开
总结
\begin{array}{|c|c|c|c|}
\hline & \mathrm{AR}(\mathrm{p}) & \mathrm{MA}(\mathrm{q}) & \mathrm{ARMA}(\mathrm{p}, \mathrm{q}) \\
\hline \text { 模型方程 } & \Phi(\mathrm{B})x_t=\mathrm{\varepsilon}_{\mathrm{t}} & \mathrm{x}_{\mathrm{t}}=\Theta(\mathrm{B}) \mathrm{\varepsilon}_{\mathrm{t}} & \Phi(\mathrm{B}) \mathrm{x}_{\mathrm{t}}=\Theta(\mathrm{B}) \mathrm{\varepsilon}_{\mathrm{t}} \\
\hline \text { 平稳性条件 } & \begin{array}{l}
\Phi(\mathrm{B})x_t=0 \text { 的根在单位圆外 }
\end{array} & \text { 无 } & \begin{array}{l}
\Phi(\mathrm{B})x_t=0 \text { 的根在单位圆外}
\end{array} \\
\hline \text { 可逆性条件 } & \text { 无 } & \begin{array}{l}
\Theta(\mathrm{B})\varepsilon_t=0 \text { 的根在单位圆外 }\end{array} & \begin{array}{l}
\Theta(\mathrm{B})\varepsilon_t=0 \text { 的根在单位圆外 }\end{array} \\
\hline \text { 自相关函数 } & \text { 拖尾 } & \text { q步截尾 } &\text{拖尾}\\
\hline \text { 偏自相关函数 } & \mathrm{p} \text { 步截尾 } & \text { 拖尾 } & \text { 拖尾} \\
\hline
\end{array}
