多元时间序列分析统计学基础：基本概念、VMA、VAR和VARMA

多元时间序列是一个在大学课程中经常未被提及的话题。但是现实世界的数据通常具有多个维度，所以需要多元时间序列分析技术。在这文章我们将通过可视化和Python实现来学习多元时间序列概念。这里假设读者已经了解单变量时间序列分析。

1、什么是多元时间序列？

顾名思义，多元时间序列是与时间相关的多维数据。我们可以用以下数学公式定义多元时间序列数据：

其中Zᵢ,ₜ是时间t下第i个分量变量，注意它对每个i和t都是一个随机变量。Zₜ具有(m, t)维度。当我们分析多元时间序列时，不能应用标准的统计理论。这意味着什么？请记住多元线性回归。

当计算多元线性回归(1)的似然时，我们假设样本中的每个观测值(=xᵢ)独立于其他观测值。因此可以通过单个观测值的概率密度的乘积轻松计算似然。通常假设观测值遵循具有以下参数的正态分布。

但是在多元时间序列中，Zₜ依赖于i和t。因此不能应用与多元线性回归相同的假设。为了分析多元时间序列，我们需要了解一些基本概念。

平稳性

在单变量时间序列中，当时间序列在时间上具有相同的均值和方差，并且协方差取决于时间滞后时，它具有弱平稳性。同理m维多元时间序列也具有平稳性，如果每个分量序列都是弱平稳的，并且其均值和方差不随时间变化。如下图所示

协方差和相关矩阵

考虑平稳多元时间序列过程Zₜ的统计量。m维多元时间序列过程的均值可以写成：

均值向量具有(m, 1)维度。滞后k协方差矩阵将如下所示：

证明如下：

当k = 0时，矩阵Γ(0)可以很容易地看作是其他变量之间的方差-协方差矩阵。当k > 0时，矩阵Γ(k)是单变量时间序列自协方差的扩展。不仅计算同一变量之间的自协方差，还计算一个变量与其他变量之间的自协方差。

对于相关矩阵，只需使用方差矩阵对协方差矩阵进行归一化。

其中D是对角矩阵，每个元素是第i个分量序列的方差。所以ρ(k)的第i个对角元素是第i个分量序列Zᵢ,ₜ的自相关函数，而ρ(k)的(i, j)非对角元素是分量序列Zᵢ,ₜ和Zⱼ,ₜ之间的互相关函数。

向量白噪声过程

如果m维向量过程aₜ具有以下参数，则称其为向量白噪声过程。

其中Σ是(m x m)对称协方差矩阵。它是单变量时间序列中白噪声的扩展。白噪声过程的分量在不同时间是不相关的，就像单变量白噪声过程一样。一个向量与其时间滞后向量之间的协方差变为零。这里白噪声过程的分量可能在同一时间点上相关。所以通常我们假设高斯白噪声，这意味着aₜ遵循多元高斯分布，可以将高斯白噪声称为VWN(0, Σ)。

以上就是多元时间序列的基本概念。下面我们将探讨代表性的向量时间序列过程，如VMA、VAR和VARMA。

2、向量移动平均过程(VMA)

向量移动平均(VMA)过程是移动平均(MA)过程的多维变量版本。让我们快速回顾一下MA过程。移动平均(MA)过程由当前和先前冲击Uₜ的总和组成。MA(q)过程可以用以下公式表示。

Uₜ在许多情况下被假定为白噪声。MA(q)过程具有由前q步冲击组成的时间序列{Yₜ}。这里MA(q)过程是弱平稳的，这意味着均值和方差是恒定的，协方差取决于时间滞后。当我们使用后移算子B时，可以重写公式如下：

这样可以以有组织的方式重写它。许多教科书利用这种表达方式。MA(q)过程具有以下性质。

回到VMA的话题，它只是MA过程的向量形式(多元)版本！为了直观地理解VMA过程，我们考虑m维VMA(1)的例子。

其中Zₜ、