协方差矩阵、相关矩阵、相关函数的联系与区别_协方差矩阵 自相关矩阵

基础不牢，地动山摇。数学很多符号描述的一个简单的思想，然而我们不太了解，因此觉得很多东西很难看不懂，其实他就是在讲述思维的过程。

看了很多理论书，都似懂非懂，归根结底就是基础不行，今天也是复习和巩固一下统计学基础。

先说结论：

1 无论是自相关还是互相关，都是描述的几个列向量之间的事情，列向量组合起来就变成了矩阵。

2 自相关函数指的是列向量$\mathbf{x}$的相关系数构成的函数，对于离散序列，自相关函数的变量就是序列的时间差，也就是E[x(k)x(k-t)]，当t=0时，求的就是均方值。

3 相关矩阵出来的就是矩阵$\mathbf{X}$的各个列之间的互相关系数，对角线是样本序列的方差，其他是各个样本序列的协方差，也就是对应时刻的数据乘积的均值。

4 协方差是将样本标准化后求相关，其协方差矩阵和相关矩阵是一样的。协方差，首先就是协，代表两个变量之间的关系，我们平常说的协同就是这个意思，两个人步调一致协同性最高，那些就是协同，你们两个对着干，协同性最差，就是不协同，反映在数字上，可以想象两个同频同相的正弦波，他们的协同的，按时刻相乘后求和（即求相关）的值是最大的，这就是协方差；当两个同频正弦波相位相差180度，他们就是不协同的，也就是反相的，则求相关就是最小的，也就是负数，这就是协方差！其次是方差，方差隐含的信息就是去均值，也就是说，变量都是围绕零点变化的，所以说，协方差和相关系数的差别就是样本是否去掉均值。那么两个样本集中的各个样本分别求协方差，按对应位置存放结果，就组成了协方差；如果不去掉均值，相互之间求相关系数，那就组成了相关矩阵。

cov(协方差矩阵)和corr(相关矩阵)

数据化来说，假设样本矩阵$\mathbf{X}$是零均值，方差是1，每一列是一个样本序列的矢量，序列长度为N，列数为p，$\mathbf{X}$的形状是N*p，N行p列。

那么协方差矩阵和相关矩阵是数值相等的（在matlab中）：

Cov($\mathbf{X}$)=Corr($\mathbf{X}$)

Cov($\mathbf{X}$)的元素取值为[-1,1]，可见matlab内是默认将样本标准化了的，因此成为相关系数矩阵更加妥当。

再来复习一个简单的符号E(xy)。这里的x和y是时间序列，离散情况下，x和y应该记为x(k)和y(k)。

E(x(k)y(k))符号里只有时刻k，其实求的是一段时间内变量的均值，也就是$k=1,2,...,N$。在概率论中这个求均值除以的是N-1,以少量样本来对总体进行无偏估计，实际上当N较大时，N-1与N相差不大，实际应用中除以N也是可以的。

如果应用中对信号的能量关注较多，那就不能完全标准化，否则所有信号的方差都是1，那信号的强弱就无法区别。因此，将信号减去均值后处理更加常用，那么使用协方差矩阵cov。

另外，协方差矩阵/相关矩阵（而不是相关系数矩阵）可以逐步计算，也可以当做整体统计计算。

1 逐步计算：

也就是，序列长为N，序列索引为k，也就是时刻。就是数据矩阵的第n行，每一维代表一个变量在时刻n的观测值，共p个数。则张成p*p的分量，随着时刻n由1增加到N，这些张成分量不断叠加，当达到设定的序列长度N时，将矩阵元素除以N，即可得到相关矩阵，或称为协方差矩阵。

2 统一计算：

就是把所有的数据都采集完，直接矩阵转置共轭后与矩阵本身相乘。

这两中方法的视角不同，逐步计算是以时刻为驱动，统一计算是以各个样本序列为驱动，但是结果是相同的。

这样有助于我们看懂别人的代码，不至于被秀。