【时间序列分析】07.自回归模型AR(p)

七、自回归模型$\mathrm{A}\mathrm{R}(p)$

1.自回归模型的定义

上一篇中，我们对自回归模型的基础——推移算子、常系数线性差分方程进行了介绍，但什么是自回归模型呢？现在我们就对自回归模型进行定义。

$\mathrm{A}\mathrm{R}(p)$模型：如果 { ε t } \{\varepsilon_t\} {εt​}是零均值白噪声$\mathrm{W}\mathrm{N}(0,{\sigma }^2)$，实数$a_1,\cdots ,a_p$使得多项式$A(z)$的零点都落在单位圆外，即
$$A(z)=1-\sum _{j=1}^p{a}_j{z}^j\ne 0,|z|\le 1.$$
则称$p$阶差分方程$A(\mathcal{B})X_t={\epsilon }_t$是一个$p$阶自回归模型，简称为$\mathrm{A}\mathrm{R}(p)$模型，也就是
$$X_t=\sum _{j=1}^p{a}_j{X}_{t-j}+{\epsilon }_t.$$
满足$\mathrm{A}\mathrm{R}(p)$模型的平稳序列 { X t } \{X_t\} {Xt​}称为$\mathrm{A}\mathrm{R}(p)$序列，$\mathbf{a}=(a_1,\cdots ,a_p{)}^{\prime }$为$\mathrm{A}\mathrm{R}(p)$模型的自回归系数，$A(z)$的零点都在单位圆外这一条件被称为稳定性条件或最小相位条件。

这里一下提出了许多定义，我们不妨分开看看这些条件。首先，从$\mathrm{A}\mathrm{R}(p)$模型的形式来看，它是一个非齐次线性差分方程，且非齐次项为零均值白噪声，因此表现形式十分简洁，为$A(\mathcal{B})X_t={\epsilon }_t$；自然而然地，自回归系数就是$A(z)$的可变量，它唯一地决定了$\mathrm{A}\mathrm{R}(p)$序列的形式。

而$A(z)$也不是随便取一个$p$次多项式就行的，它的常数项为1，并且最重要的条件是所有零点位于单位圆外。从我们对差分方程解的讨论可以知道，所有零点位于单位圆外，能让它对应的齐次差分方程的任何一个解都以负指数阶收敛到0（参见上一篇笔记）；而非齐次差分方程的通解，又由特解加上齐次差分方程通解构成，这样随着时间的增长，齐次差分方程通解对非齐次差分通解的影响是可以忽略的，只需要考虑特解即可。

2.$\mathrm{A}\mathrm{R}(p)$序列的求解与平稳解唯一性

既然我们只需要考虑特解，那自然要想办法求得这个这个方程的特解。在上一篇中我们跳过了推移算子相关性质的证明，事实上，对于绝对收敛的级数$A(z)=\sum _{j=-\infty }^{\infty }{a}_j{z}^j,B(z)=\sum _{j=-\infty }^{\infty }{b}_j{z}^j$，其乘积是有意义的，且依然是一个级数$D(z)=A(z)B(z)=\sum _{j=-\infty }^{\infty }{d}_j{z}^j$，这里$d_j=\sum _{k=-\infty }^{\infty }{a}_k{b}_{j-k}$。这样，我们就有
$$D(\mathcal{B})X_t=A(\mathcal{B})[B(\mathcal{B})X_t]=B(\mathcal{B})[A(\mathcal{B})X_t].$$
这里引入这个性质是为了什么呢？想象我们有一个级数$B(z)=1/A(z)=\sum _{j=-\infty }^{\infty }{\psi }_j{z}^j$，如果它是绝对收敛的，那么将$A(\mathcal{B})X_t={\epsilon }_t$等式两边同时乘上这个$B(\mathcal{B})$，就得到$X_t=B(\mathcal{B}){\epsilon }_t$，也就得到方程的特解，这样一来，对方程的特解计算就容易得多了。那么，唯一的任务是证明这个级数$B(z)$是绝对收敛的，我们记这个级数为$A^{-1}(z)$。

由于$A(z)$的所有根都在单位圆外，即$|z_j|={\rho }_j>1,\forall j$，那么存在一个$\rho \in (1,\underset{j}{\min }{\rho }_j)$，$A(z)$在$[0,\rho ]$上不等于0，就使得$A^{-1}(z)=1/A(z)$在$[0,\rho ]$上是解析函数，可无限次求导，从而有Taylor级数
$$A^{-1}(z)=\sum _{j=0}^{\infty }{\psi }_j{z}^j,|z|\le \rho .$$
由于这个级数在$z=\rho$处收敛，所以级数$|{\psi }_j{\rho }^j|\to 0$，也就是${\psi }_j=o({\rho }^{-j})$，所以由 { ρ − j } \{\rho^{-j}\} {ρ−j}的绝对可和性得知 { ψ j } \{\psi_j\} {ψj​}绝对可和，这样$A^{-1}(\mathcal{B}){\epsilon }_t=\sum _{j=-\infty }^{\infty }{\psi }_j{\epsilon }_{t-j}$是均方收敛，即有意义的。现在，我们就得到方程$A(\mathcal{B})X_t={\epsilon }_t$的特解为
$$A^{-1}(\mathcal{B})[A(\mathcal{B})X_t]=X_t=A^{-1}(\mathcal{B}){\epsilon }_t=\sum _{j=0}^{\infty }{\psi }_j{\epsilon }_{t-j}.$$
注意到这是一个单边无穷滑动和（这就说明它是平稳序列），没有用到未来的白噪声信息，因此我们可以认为这个解是有意义的。并且，任何一个由$X_t=\sum _{j=0}^{\infty }{\psi }_j{\epsilon }_{t-j}$且${\psi }_j$绝对可和的序列决定的平稳序列都是$\mathrm{A}\mathrm{R}(p)$序列，这里的 { ψ j } \{\psi_j\} {ψj​}被称为Wold系数。

我们已经找到了$\mathrm{A}\mathrm{R}(p)$模型的一个平稳解，但事实上，我们还有更强力的结论，即这个平稳解是唯一的。

平稳解唯一定理：$\mathrm{A}\mathrm{R}(p)$模型$A(\mathcal{B})X_t={\epsilon }_t$的解$A(\mathcal{B}){\epsilon }_t=\sum _{j=0}^{\infty }{\psi }_j{\epsilon }_{t-j}$是此模型的唯一平稳解，并进一步得到模型的通解为
$$Y_t=\sum _{j=0}^{\infty }{\psi }_j{\epsilon }_{t-j}+\sum _{j=1}^k\sum _{l=0}^{r(j)-1}{U}_{l,j}{t}^l{z}_j^{-t},z\in \mathbb{Z}.$$

首先对此平稳解进行验证。令$a_0=-1$，${\psi }_k=0(k<0)$，则对$|z|\le 1$有
$$1=A(z)A^{-1}(z)=-\sum _{j=0}^p{a}_j{z}^j\sum _{k=0}^{\infty }{\psi }_k{z}^k=-\sum _{k=0}^{\infty }\left(\sum _{j=0}^p{a}_j{\psi }_{k-j}\right)z^k=-\sum _{k=0}^{\infty }\sum _{j=0}^p{a}_j{\psi }_{k-j}{z}^k.$$
通过系数的比对，得到${\psi }_0=1$，
$$\sum _{j=0}^p{a}_j{\psi }_{k-j}=-{\psi }_k+\sum _{j=1}^p{a}_j{\psi }_{k-j}=0,{\psi }_k=\sum _{j=1}^p{a}_j{\psi }_{k-j},\forall k>0.$$

此时令$X_t=\sum _{j=0}^{\infty }{\psi }_j{z}^j$，就有
A ( B ) X t = − ∑ j = 0 p a j X t − j = − ∑ j = 0 p a j ∑ k = 0 ∞ ψ k ε t − j − k = − ∑ k = 0 ∞ ∑ j = 0 p a j ψ k − j ε t − k = ε t .

$$\begin{aligned} A(\mathscr B)X_t=&-\sum_{j=0}^p a_jX_{t-j}\\ =&-\sum_{j=0}^pa_j\sum_{k=0}^\infty \psi_k\varepsilon_{t-j-k}\\ =&-\sum_{k=0}^\infty\sum_{j=0}^pa_j\psi_{k-j}\varepsilon_{t-k}\\ =&\varepsilon_t. \end{aligned}$$ A(B)Xt​====​−j=0∑p​aj​Xt−j​−j=0∑p​aj​k=0∑∞​ψk​εt−j−k​−k=0∑∞​j=0∑p​aj​ψk−j​εt−k​εt​.​
说明$X_t$是方程的解，又因为是平稳序列，所以是平稳解。

接下来证明平稳解的唯一性，这里要用到一个结论，即平稳序列 { X t } \{X_t\} {Xt​}对于绝对可和的 { a j } , { b j } \{a_j\},\{b_j\} {aj​},{bj​}与其对应多项式$A(z),B(z)$，有$A(\mathcal{B})[B(\mathcal{B})X_t]=B(\mathcal{B})[A(\mathcal{B})X_t]=D(\mathcal{B})X_t$。

对此性质的证明如下：首先我们验证$D(z)$的系数列 { d j } \{d_j\} {dj​}也是绝对可和的，因为$d_m=\sum _{j=-\infty }^{\infty }{a}_j{b}_{m-j}$，所以
∑ m = − ∞ ∞ ∣ d j ∣ = ∑ m = − ∞ ∞ ∣ ∑ j = − ∞ ∞ a j b m − j ∣ ≤ ∑ m = − ∞ ∞ ∑ j = − ∞ ∞ ∣ a j ∣ ∣ b m − j ∣ = ∑ j = − ∞ ∞ ∣ a j ∣ ∑ m = − ∞ ∞ ∣ b m − j ∣ = ∑ j = − ∞ ∞ ∣ a j ∣ ∑ k = − ∞ ∞ ∣ b k ∣ < ∞ .

$$\begin{aligned} \sum_{m=-\infty}^\infty |d_j|=&\sum_{m=-\infty}^\infty\left|\sum_{j=-\infty}^\infty a_jb_{m-j} \right|\\ \le&\sum_{m=-\infty}^\infty \sum_{j=-\infty}^\infty |a_j||b_{m-j}|\\ =&\sum_{j=-\infty}^\infty |a_j|\sum_{m=-\infty}^\infty |b_{m-j}|\\ =&\sum_{j=-\infty}^\infty |a_j|\sum_{k=-\infty}^\infty |b_k|<\infty. \end{aligned}$$ m=−∞∑∞​∣dj​∣=≤==​m=−∞∑∞​∣∣∣∣∣​j=−∞∑∞​aj​bm−j​∣∣∣∣∣​m=−∞∑∞​j=−∞∑∞​∣aj​∣∣bm−j​∣j=−∞∑∞​∣aj​∣m=−∞∑∞​∣bm−j​∣j=−∞∑∞​∣aj​∣k=−∞∑∞​∣bk​∣<∞.​
对于平稳序列$X_t$，由其有界性$|{\gamma }_k|<|{\gamma }_0|$，所以满足绝对收敛条件：
$$\mathrm{E}\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }|a_k{b}_j{X}_{t-k-j}|=\sum _{j=-\infty }^{\infty }\sum _{k=-\infty }^{\infty }|a_k||b_j|\mathrm{E}|X_{t-k-j}|\le \sqrt{{\gamma }_0}\sum _{j=-\infty }^{\infty }|a_j|\sum _{k=-\infty }^{\infty }|b_k|.$$
所以$A(\mathcal{B})[B(\mathcal{B})X_t],B(\mathcal{B})[A(\mathcal{B})X_t],D(\mathcal{B})X_t$都是绝对收敛的，并且具有相同的极限。

如果另有平稳解$Y_t$，则因为平稳序列具有有界性$|{\gamma }_k|\le |{\gamma }_0|$，所以绝对收敛，满足无穷级数的可交换性，就有
$$Y_t=A^{-1}(\mathcal{B})[A(\mathcal{B})Y_t]=A^{-1}(\mathcal{B}){\epsilon }_t=X_t,$$
这就证明了平稳解 { X t } \{X_t\} {Xt​}的唯一性，并且可以很自然地写出通解。

3.$\mathrm{A}\mathrm{R}(p)$模型平稳解的性质讨论

从刚才的讨论，我们知道了$A(\mathcal{B})X_t={\epsilon }_t$的平稳解是唯一的，且仅与白噪声${\epsilon }_t$和特征多项式$A(z)$的Wold系数有关，接下来我们就对Wold系数作一些讨论。

前面我们得知，对于$\rho \in (1,\underset{j}{\min }{\rho }_j)$，有${\psi }_j=o({\rho }^{-j})$，也就是随着$j$的增大${\psi }_j$总会趋近于0，并且${\rho }^{-j}$还给收敛速度作出了限制，对于越大的$\rho$，Wold系数收敛于0的速度越快，而$\rho$的取值依赖于$\underset{j}{\min }{\rho }_j$，所以$A(z)$的零点距离单位圆越远，其Wold系数收敛速度越快。

按定义来看，Wold系数是$1/A(z)$的Taylor展开系数，但是对一个多项式，不断求其导数在0点的值的计算量是巨大的，有没有什么简便的方法来计算Wold系数呢？其实，在我们验证$A^{-1}(\mathcal{B})X_t={\epsilon }_t$时，得到了这样的恒等式（令$a_0=-1,{\psi }_k=0(k<0)$）：
$$1=A(z)A^{-1}(z)=-\sum _{j=0}^p{a}_j{z}^j\sum _{k=0}^{\infty }{\psi }_k{z}^k=-\sum _{k=0}^{\infty }\left(\sum _{j=0}^p{a}_j{\psi }_{k-j}\right)z^k=-\sum _{k=0}^{\infty }\sum _{j=0}^p{a}_j{\psi }_{k-j}{z}^k.$$
通过比对系数，能够得到Wold系数的递推公式：
ψ k = { 0 , k < 0 ; 1 , k = 0 ; ∑ j = 1 p a j ψ k − j , k > 0. \psi_k=\left\{

$$\begin{array}l 0,&k<0;\\ 1,&k=0;\\ \sum\limits_{j=1}^pa_j\psi_{k-j},&k>0. \end{array}$$ \right. ψk​=⎩⎪⎪⎨⎪⎪⎧​0,1,j=1∑p​aj​ψk−j​,​k<0;k=0;k>0.​
综合起来，如果我们把 { ψ j } \{\psi_j\} {ψj​}也看成一个时间序列，时间指标是$j$，就有
$$A(\mathcal{B}){\psi }_j=0,{\psi }_k=0(k<0),{\psi }_0=1.$$
最后我们来讨论$\mathrm{A}\mathrm{R}(p)$模型的收敛性，其通解$Y_t$与平稳解之差$X_t$满足$|Y_t-X_t|\le o({\rho }^{-t})$，这里的$\rho$与之前有相同的定义。这就说明$\mathrm{A}\mathrm{R}(p)$模型随着时间的增长一定会收敛于其平稳解，并且$A(z)$的根越远离单位圆，收敛的速度就越快。

这种收敛的性质表明，不论我们给$\mathrm{A}\mathrm{R}(p)$模型设定什么样的初值，最后都产生一样的效果，于是我们可以使用初值$0_p^{\prime }$来模拟$\mathrm{A}\mathrm{R}(p)$序列。

4.特例：$\mathrm{A}\mathrm{R}(1)$序列

$\mathrm{A}\mathrm{R}(1)$序列是最简单的$\mathrm{A}\mathrm{R}(p)$序列，其形式为$X_t=a{X}_{t-1}+{\epsilon }_t$，特征多项式是$A(z)=1-az$，稳定性条件是$a<1$。我们可以得到它的平稳解和通解分别是
$$X_t=\frac{1}{1-a\mathcal{B}}{\epsilon }_t=\sum _{j=0}^{\infty }{a}^j{\epsilon }_{t-j},Y_t=\sum _{j=0}^{\infty }{a}^j{\epsilon }_{t-j}+\xi a^t.$$
这里用到级数展开式$\sum x^j=1/(1-x),|x|<1$。其平稳解的方差是
$$\mathrm{D}{X}_t=\sum _{j=0}^{\infty }{a}^{2j}\mathrm{D}{\epsilon }_{t-j}=\frac{{\sigma }^2}{1-a^2}.$$
可以看到，$|a|$越小，也就是$A(z)$的根$|z_1|$越远离单位圆，平稳解的方差越小，模型越稳定。

回顾总结

1. $\mathrm{A}\mathrm{R}(p)$模型是一个特征多项式满足稳定性条件的非齐次差分方程模型$A(\mathcal{B})X_t={\epsilon }_t$，对特征多项式的要求是常数项为1，次数为$p$，满足稳定性条件：$A(z)\ne 0,|z|\le 1$。

2. $\mathrm{A}\mathrm{R}(p)$方程有唯一的平稳解：$A^{-1}(\mathcal{B}){\epsilon }_t$，这里$A^{-1}(z)=\frac{1}{A(z)}=\sum _{j=0}^{\infty }{\psi }_j{z}^j$，是一个单边滑动无穷和。系数 { ψ j } \{\psi_j\} {ψj​}被称为Wold系数，它以负指数阶收敛于0。

3. Wold系数的递推公式为$A(\mathcal{B}){\psi }_j=0$，即
   ψ k = { 0 , k < 0 ; 1 , k = 0 ; ∑ j = 1 p a j ψ k − j , k > 0. \psi_k=\left\{

   $$\begin{array}l 0,&k<0;\\ 1,&k=0;\\ \sum\limits_{j=1}^pa_j\psi_{k-j},&k>0. \end{array}$$ \right. ψk​=⎩⎪⎪⎨⎪⎪⎧​0,1,j=1∑p​aj​ψk−j​,​k<0;k=0;k>0.​

4. $\mathrm{A}\mathrm{R}(p)$模型的通解以负指数阶收敛于平稳解，且$A(z)$的根越远离单位圆，收敛越快，因此初值不影响模型的模拟结果。

5. $\mathrm{A}\mathrm{R}(1)$模型$X_t=a{X}_{t-1}+{\epsilon }_t$的Wold系数就是$a^j$，其平稳解方差为${\sigma }^2/(1-a^2)$。