现代数字信号处理---随机信号基础_数字信号 随机过程

随机信号的统计描述

信号的分类

确定性信号：能够以确定的时间函数表示的信号

随机信号：也称为不确定信号或随机过程，不是时间的确定函数

• 平稳随机信号：信号的统计特征是确定的
• 非平稳随机信号：信号的统计特征是不确定的

随机变量

随机变量是指变量X的取值由每次随机试验的结果决定。

如果每次随机试验的结果不是一个数，而是一个随时间变化的函数$x_i(t)$，则所有可能的这些函数的集合，称为该随机试验的随机过程(随机信号)，表示为$x(t)$。

随机变量的取值没有确定的表达式，一般通过概率分布函数描述。

$F(X_1,1)=P(x_1\le X_1)$

N个随机变量的联合概率分布函数为

$F_{x_1,x_2,\dots ,x_N}(x_1,x_2,\dots ,x_N)=P(x_1\le X_1,x_2\le X_2,\dots ,x_N\le X_N)$

如果下式成立，N个随机变量是相互独立的

$F_{x_1,x_2,\dots ,x_N}(x_1,x_2,\dots ,x_N)=P_{x_1}(x_1\le X_1)P_{x_2}(x_2\le X_2)\dots P_{x_N}(x_N\le X_N)$

• 概率密度函数

$f(x)=dF(x)/dx$

M个随机变量的联合概率密度函数为

$f(x_1,\dots ,x_M;n_1,\dots ,n_M)=\frac{d^{M}F(x_1,\dots ,x_M;n_1,\dots ,n_M)}{d{x}_1\dots d{x}_M}$

• 随机变量的统计描述

均值(一阶矩)：$u_x=E[x]={\int }_{-\infty }^{+\infty }xf(x)dx$

均方值(二阶原点矩)：$D^2=E[|X{|}^2]={\int }_{-\infty }^{+\infty }|x{|}^{2}f(x)dx$

方差(二阶中心矩)：${\delta }^2=E[|x-u{|}^2]={\int }_{-\infty }^{+\infty }|x-u{|}^{2}f(x)dx$

协方差：$cov[x,y]=E[(x-u_x)(y-u_y{)}^{\ast }]=E[x{y}^{\ast }]-E[x]E[y{]}^{\ast }$

• 几种特殊随机变量的概率密度

均匀分布：$f(x)=\frac{1}{b-a}(a<x<b)$

高斯分布：$f(x)=\frac{1}{\sqrt{2\pi {\delta }^2}}{e}^{-\frac{1}{2{\delta }^2}(x-u{)}^2}$

N个实随机变量$X=[x_1,x_2,\dots \dots ,x_N{]}^T$的联合高斯分布的概率密度为：$f(X)=[(2\pi {)}^N|\sum |{]}^{-1/2}{e}^{-\frac{1}{2}(X-\overline{u}{)}^T{\sum }^{-1}(X-\overline{u})}$，其中，$\overline{u}=[u_{x_1},u_{x_2},\dots u_{x_N}{]}^T,\sum =E[(x-\overline{u})(X-\overline{u}{)}^T]$

随机信号

实际应用中，常常把取值随时间变化而变化的信号，称为随机信号。

随机信号定义：一个随机信号$X(t)$是依赖时间t的一族随机变量，或者说它是所有可能的样本函数的集合。

随机信号的特点：1. 在任何时间的取值都是随机的(不能确切已知),2. 取值服从概率分布规律(统计特性确定，但未知)

如果对随机信号$X(t)$进行等间隔采样，或者说将$X(t)$进行时域离散化，得到随机变量$X(t_1),X(t_2),X(t_3),\dots \dots ,$所构成的集合称为时域离散随机信号

用n取代$t_n$，随机序列用$X(n)$表示，即随机序列是随n变化的随机变量序列

随机信号的统计描述

一维概率分布函数：$F_{x_n}(X_n,n)=P(x_n\le X_n)$

一维概率密度函数：$f_{X_n}(X_n,n)=\frac{d{F}_{X_n}(x_n,n)}{d{x}_n}$

上述两式只描述随机序列在某一时刻n的统计特性，而对于随机序列，不同n的随机变量之间并不是孤立的。

二维概率分布函数：$F_{x_n,x_m}(X_n,X_m)=P(x_n\le X_n,x_m\le X_m)$

对于连续随机变量，其二维概率密度函数为$f_{x_n,x_m}(X_n,X_m)=\frac{d^2{F}_{x_n,x_m}(X_n,X_m)}{d{X}_{n}d{X}_m}$

以此类推，N维概率分布函数为：$F_{x_1,x_2,\dots ,x_N}(X_1,X_2,\dots ,X_N)=P(x_1\le X_1,x_2\le X_2,\dots ,x_N\le X_N)$

对于连续随机变量，其N维概率密度函数为：$f_{x_1,x_2,\dots ,x_N}(X_1,X_2,\dots ,X_N)=\frac{d^N{F}_{x_1,x_2,\dots ,x_N}(X_1,X_2,\dots ,X_N)}{d{X}_{1}d{X}_2\dots d{X}_N}$

数学期望(统计平均值)：

连续形式：$u_x(n)=E[x(n)]={\int }_{-\infty }^{+\infty }x(n)f_{X_n}(x,n)dx$

离散形式：$u_x(n)=E[X(n)]=lim(N->\infty )\frac{1}{N}{\sum }_{i=1}^{N}x(n,i)$

式中E表示求统计平均值，体现了信号的集合平均

均方差：$D_x^2(n)=E[|x(n){|}^2]={\int }_{-\infty }^{\infty }|x(n){|}^2{f}_{X_n}(x,n)dx$

方差：${\delta }_x^2(n)=E[|x(n)-u_x(n){|}^2]=E[|x_n{|}^2]-u_x^2(n)$

一般均值、均方值和方差都是n的函数，但对于平稳随机序列，它们与n无关，是常数

自相关函数：$r_{xx}=E[x_m{x}_n^{\ast }]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_m{x}_n^{\ast }{f}_{x_m,x_n}(x_m,x_n)d{x}_{m}d{x}_n$

自协方差函数：$C_{xx}(x_m,x_n)=E[(x_m-u_{x_m})(x_n-u_{x_n}{)}^{\ast }]=r_{xx}(m,n)-u_{x_m}{u}_{x_n}^{\ast }$

对于零均值随机序列，$u_{x_m}=u_{x_n}=0$，则$C_{xx}=(X_m,X_n)=r_{xx}(m,n)$

互相关函数：$r_{xy}=E[Y_m{Y}_n^{\ast }]={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}_m{y}_n^{\ast }{f}_{x_m,y_n}(x_m,y_n)d{x}_{m}d{y}_n$

互协方差函数：$C_{xy}(x_m,y_n)=E[(x_m-u_{x_m})(y_n-u_{y_n}{)}^{\ast }]=r_{xy}(m,n)-u_{x_m}{u}_{y_n}^{\ast }$

同样，当$u_{x_m}=u_{y_n}=0$时，$C_{xy}(x_m,y_n)=r_{xy}(m,n)$

自相关矩阵

定义：设M维信号矢量用x表示，随机信号的自相关矩阵定义为信号矢量外积的期望值，即$R=E[x{x}^H]$，这是一个M*M的方阵

自协方差矩阵

$C=E[(x-u_x)(x-u_x{)}^H]$

互相关系数

${\rho }_{xy}(\tau )=\frac{C_{xy}(\tau )}{\sqrt{(C_{xx}(0)C_{yy}(0))}}$

相干信号(coherent)-拷贝信号

若某一${\tau }_0$，使$|{\rho }_{xy}(\tau )|=1$，$y(t)=C{e}^{j{\Phi }_c}x(t-{\tau }_0)$

注：若$|{\rho }_{xy}(\tau )|$接近于1，则称高相关信号

相干积累：收集相干信号，以提高接收机信噪比

统计独立：$f_{X,Y}=f_X(x)f_Y(y)$

统计不相关：$Ex(n)y(n)=Ex(n)Ey(n)$，则$x(n),y(n)$统计不相关

正交：

正交的几何解释

向量的正交(常数向量：元素为常量的向量)

夹角：$cos\theta =\frac{\sqrt{<x,y>}}{\sqrt{<x,x>}\sqrt{<y,y>}}=\frac{x^{H}y}{||x||.||y||}$

正交：$<x,y>=x^{H}y=0$，两常数向量夹角为$90^{。}$

随机向量的正交

两个随机变量$x(\xi )$和$y(\xi )$之间的夹角：

c o s θ = < x ( ξ ) , y ( ξ ) > < x ( ξ ) , x ( ξ ) > < y ( ξ ) , y ( ξ ) > = E { x ∗ ( ξ ) y ( ξ ) } E { ∣ x ( ξ ) ∣ 2 } E { ∣ y ( ξ ) ∣ 2 } cos\theta = \frac{ < x ( \xi ),y ( \xi ) > }{\sqrt{ < x ( \xi ),x ( \xi ) > }\sqrt{ < y ( \xi ),y ( \xi ) > }}=\frac{E\{x^*(\xi)y{(\xi)}\}}{\sqrt{E\{|x(\xi)|^2\}}\sqrt{E\{|y(\xi)|^2\}}} cosθ=<x(ξ),x(ξ)> ​<y(ξ),y(ξ)> ​<x(ξ),y(ξ)>​=E{∣x(ξ)∣2} ​E{∣y(ξ)∣2} ​E{x∗(ξ)y(ξ)}​

两个随机变量正交，若 E { x ∗ ( ξ ) y ( ξ ) } = 0 E\{x^*(\xi)y(\xi)\}=0 E{x∗(ξ)y(ξ)}=0

两个随机向量$x(\xi )=[x_1(\xi ),x_2(\xi ),\dots ,x_m(\xi ){]}^T$和$y(\xi )=[y_1(\xi ),y_2(\xi ),\dots ,y_n(\xi ){]}^T$正交，系指任何一个随机变量$x_i(\xi )$都与另一个随机变量$y_j(\xi )$正交

正交条件： R x y = E { x ( ξ ) y H ( ξ ) } = 0 m ∗ n R_{xy}=E\{x(\xi)y^H(\xi)\}=0_{m*n} Rxy​=E{x(ξ)yH(ξ)}=0m∗n​(零矩阵)

正交在通信中的典型应用

通信理论的基本结论：若多个用户的信号可以做到正交，则这些用户可共享一个发射媒介。

码分多址(CDMA:code-division multiple access)：各个用户的信号波形在时域和频域都有重叠，但信号之间正交

平稳随机信号

平稳随机信号的定义

狭义(严)平稳随机序列：随机信号的统计特性不随时间平移而变化。

$F_{x_{1+k},x_{2+k},\dots ,x_{N+k}}(x_{1+k}(1+k),x_{2+k}(2+k),\dots ,x_{N+k}(N+k))=F_{x_1,x_2,\dots ,x_N}(x_1(1),x_2(2),\dots ,x_N(N))$

广义(宽)平稳随机序列：随机信号的均值和方差是常数，其相关函数与时间起点无关，仅是时间差的函数。

宽平稳随机信号的特点：

均值、方差和均方差均为常数：

$u_x=E[x(n)]=E[x(n+m)]$

$D_x^2=E[|x_n{|}^2]=E[|x_{n+m}{|}^2]$

${\delta }_x^2=E[|x_n-x_m{|}^2]=E[|x_{n+m}-u_x{|}^2]$

自相关函数与自协方差函数是时间差的函数：

$r_{xx}(m)=E[x_n{x}_{n-m}^{\ast }]$

$c_{xx}(m)=E[(x_n-u_x)(x_{n-m}-u_x{)}^{\ast }]$

对于两个各自平稳且联合稳定的随机序列，其互相关函数为

$r_{xy}(m)=r_{xy}(n,n-m)=E[X_n{Y}_{n-m}^{\ast }]$

如果对于所有的m，满足公式:$r_{xy}(m)=0$,则称两个随机序列互为正交

如果$r_{xy}(m)=E[x(n)y^{\ast }(n-m)]=E[x(n)]E[y^{\ast }(n-m)]$，则称两个随机序列互不相关。

平稳随机信号相关函数的性质

1. 相关函数和协方差函数的对称性：

$r_{xx}(m)=r_{xx}^{\ast }(-m)$,$c_{xx}(m)=c_{xx}^{\ast }(-m)$

$r_{xy}(m)=r_{yx}^{\ast }(-m)$,$c_{xy}(m)=c_{yx}^{\ast }(-m)$

2. $r_{xx}(0)$数值上等于随机序列的平均功率：

$r_{xx}(0)=E[|x_n{|}^2]$

3. 相关性随时间差的增大越来越弱：

$r_{xx}(0)\ge |r_{xx}(m)|$

4. $li{m}_{m->\infty }{r}_{xx}(m)=|u_x{|}^2$

$li{m}_{m->\infty }{r}_{xy}(m)=u_x{u}_y^{\ast }$

5. $c_{xx}(m)=r_{xx}(m)-|u_x{|}^2$

$c_{xx}(0)={\delta }_x^2$

$li{m}_{m->\infty }{c}_{xx}(m)=0$

平稳随机信号的各态遍历性

集合平均

由随机序列$X(n)$的无穷样本{$x_i(n),n=1,2,\dots \dots ,\infty$}在相应时刻对应相加来实现的

$u_x(n)=E[X(n)]=li{m}_{N->\infty }\frac{1}{N}{\sum }_{i=1}^N{x}_i(n)$

$r_{xx}(m,n)=E[X(m)X^{\ast }(n)]=li{m}_{N->\infty }\frac{1}{N}{\sum }_{i=1}^N{x}_i(m)x_i(n)$

由上可知，集合平均要求对大量的样本进行平均，实际中这种做法是不现实的。

时间平均

设$x(n)$是平稳随机序列$X(n)$的一条样本曲线，其时间平均值为

$x(n)=li{m}_{N->\infty }\frac{1}{2N+1}{\sum }_{n=-N}^{N}x(n)$

类似地，其时间自相关函数为

$x(n)x^{\ast }(n+m)={\lim }_{N->\infty }\frac{1}{2N+1}{\sum }_{n=-N}^{N}x(n)x^{\ast }(n+m)$

各态遍历性：对平稳随机信号，如果它的所有样本函数在某一个固定时刻的一阶和二阶统计特性(集合平均)和单一样本函数在长时间内的统计特性(时间平均)一致，则称其为各态遍历信号。

$x(n)=E[X(n)]$

$x(n)x^{\ast }(n+m)=E[X(n)X^{\ast }(n+m)]$

直观理解：只要一个实现时间充分的过程能够表现出各个实现的特征，就可以用一个样本来表示总体的特性。

平稳随机信号的功率谱密度

相关函数的z变换

平稳随机序列是非周期函数，且是能量无限信号，无法直接利用傅里叶变换进行分析

由前面对自相关函数和自协方差函数的讨论可知：

$li{m}_{m->\infty }{r}_{xx}(m)=|u_x{|}^2$

$li{m}_{m->\infty }{c}_{xx}(m)=0$

当$u_x=0$时，$r_{xx}(m)$是收敛序列，其z变换用$P_{xx}(z)$表示如下：

$P_{xx}(z)={\sum }_{m=-\infty }^{\infty }{r}_{xx}(m)z^{-m}$

$r_{xx}(m)=\frac{1}{2\pi j}{\int }_c{P}_{xx}(z)z^{m-1}dz$

平稳随机信号的功率密度谱

令$z=e^{j\omega }$,可得$r_{xx}(m)$的离散时间傅里叶变换：

$P_{xx}(e^{j\omega })={\sum }_{m=-\infty }^{\infty }{r}_{xx}(m)e^{-j\omega m}$

$r_{xx}(m)=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }{P}_{xx}(e^{j\omega })e^{j\omega m}d\omega$

$P_{xx}(e^{j\omega })$：功率谱密度(简称功率谱)

维纳-辛钦定理(Wiener-Khinchin Theorem)

将$m=0$代入上式，得到：

$r_{xx}(0)=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }{P}_{xx}(e^{j\omega })d\omega$

$r_{xx}(0)$：随机序列的平均功率

平稳随机信号功率谱的主要性质

功率谱是非负实函数：

$P_{xx}(\omega )\ge 0$,$P_{xx}(\omega )=P_{xx}^{\ast }(\omega )$

实随机信号的功率谱实偶函数：

$P_{xx}(-\omega )=P_{xx}(\omega )$

类似定义平稳随机信号的互功率谱密度函数，简称互功率谱

$P_{xy}(\omega )={\sum }_{m=-\infty }^{\infty }{r}_{xy}(m)e^{-j\omega m}$

平稳随机信号互功率谱的主要性质

互功率谱的共轭对称性：

$P_{xy}(\omega )=P_{yx}^{\ast }(\omega )$

互功率谱不等式：

$|P_{xy}(\omega ){|}^2\le P_x(\omega )P_y(\omega )$

白噪声信号的功率谱

白噪声：功率谱密度函数为常数的噪声

$P_n(\omega )=\frac{N_0}{2}$

白噪声的自相关函数为：

$r_n(\tau )=\frac{N_0}{2}\delta (\tau )$

不同时刻白噪声取值互不相关

功率谱的分类

平谱(白噪声谱)：一个平稳的随机序列$\omega (n)$，如果其功率谱$P_w(e^{j\omega })$在$|\omega |\le \pi$的范围内始终为一常数

$r_w(m)=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }{P}_w(e^{j\omega })d\omega ={\theta }_w^2\delta (m)$

白噪声序列在任意两个不同的时刻是不相关的。

线谱：由一个或多个正弦信号所组成的信号的功率谱。若$x(n)$有L个正弦组成，即

$x(n)={\sum }_{k=1}^L{A}_{k}sin({\omega }_{k}n+{\varphi }_k)$

其中，${\varphi }_k$是均匀分布的随机变量。可以求出

$r_{xx}={\sum }_{k=1}^L\frac{A_k^2}{2}cos({\omega }_{k}m)$

$P_{xx}(e^{j\omega })={\sum }_{k=1}^L\frac{\pi A_k^2}{2}[\delta (\omega +{\omega }_k)+\delta (\omega -{\omega }_k)]$

ARMA谱：既有峰点又有谷点的连续谱，这样的谱可以由一个ARMA模型来表征。

平稳随机信号通过线性系统

输出信号的数字特征

确定性信号通过线性时不变系统

$y(n)=x(n)\ast h(n)={\sum }_{k=-\infty }^{\infty }x(k)h(n-k),Y(\omega )X(\omega )H(\omega )$

设平稳随机信号$x(n)$的自相关函数和功率谱分别为$r_{xx}(m)$和$P_{xx}(\omega )$，则输出信号可表示为：

$y(n)={\sum }_{k=-\infty }^{\infty }h(k)x(n-k)={\sum }_{k=-\infty }^{\infty }x(k)h(n-k)$

输出信号的均值为

$m_y=E[y(n)]=E[{\sum }_{k=-\infty }^{\infty }h(k)x(n-k)]=E[{\sum }_{k=-\infty }^{\infty }h(k)x(n-k)]$

由于$x(n)$为平稳随机信号，所以：

$m_y=E[{\sum }_{k=-\infty }^{\infty }h(k)x(n-k)]={\sum }_{k=-\infty }^{\infty }h(k)E[x(n-k)]={\sum }_{k=-\infty }^{\infty }h(k)m_x=H(0)m_x$

所以$m_y$为与时间无关的常数

输出随机信号$y(n)$的自相关函数只与时间差有关。

结论1：平稳随机信号通过线性时不变系统，其输出也是平稳的。

结论2：x(n)与h(n)卷积的自相关等于的x(n)自相关和h(n)的自相关的卷积

结论3：输出信号的功率谱等于输入信号的功率谱和系统幅频响应平方的乘积

输入与输出随机信号间的互相关

输出和输入随机信号的互相关函数为

$r_{xy}(m)=r_{xx}\ast h(m)$

输出和输入随机信号的互功率谱密度函数为：

$P_{xy}=P_{xx}(\omega )H(e^{j\omega })$

$P_{yy}=P_{xy}(\omega )H(e^{-j\omega })$

输入随机信号为白噪声时，功率谱密度为常数

测定未知系统冲击响应和频率函数的方法框图

参考文献：

1. 《https://www.bilibili.com/video/BV1wS4y1D7ng》