线性代数|机器学习-P5特征值和特征向量

1. 特征值和特征向量

1.1 特征向量

假设有一个n行n列的方阵A，有 n 个不相同的特征值为$\lambda$,特征向量为$x_1,x_2,\cdots ,x_n$.等式如下：
A x i = λ i x i , i = 1 , ⋯   , n → A 2 x = λ 2 x

$$\begin{equation} Ax_i=\lambda_ix_i,i=1,\cdots,n\rightarrow A^2x=\lambda^2x \end{equation}$$ Axi​=λi​xi​,i=1,⋯,n→A2x=λ2x​​

• 特征向量的好处在于，对于向量x来说，$Ax=\lambda x$，通过左乘矩阵A，还是不改变向量的方向，只是按照$\lambda$倍进行缩放。
  $$\begin{array}{c}{A}^{k}x={\lambda }^{k}x\end{array}$$
• 对于微分方程来说
  $$\begin{array}{c}\frac{\mathrm{d}u}{\mathrm{d}t}=Au，{\mathrm{e}}^{At}={\mathrm{e}}^{\lambda t}\end{array}$$
• 通解表示如下：
  $$\begin{array}{c}u(t)=S{e}^{\Lambda t}{S}^{-1}u(0)=e^{At}u(0)\end{array}$$

1.2 向量分解

假设矩阵A有n个线性无关的特征向量，那么对于任意矩阵v来说，可以分解为特征向量的线性组合
v = c 1 x 1 + c 2 x 2 + ⋯ + c n x n

$$\begin{equation} v=c_1x_1+c_2x_2+\cdots+c_nx_n \end{equation}$$ v=c1​x1​+c2​x2​+⋯+cn​xn​​​

• 两边同时乘以$A^k,A^{k}x={\lambda }^{k}x$:
  $$\begin{array}{c}{A}^{k}v=c_1{\lambda }_1^k{x}_1+c_2{\lambda }_2^k{x}_2+\cdots +c_n{\lambda }_n^k{x}_n\end{array}$$
• 特征向量在差分方程上的应用
  $$\begin{array}{c}{u}_{k+1}=A{u}_k\to u_k=A^k{u}_0={\lambda }^{k}x{u}_0\end{array}$$

2. 矩阵相似

2.1 特征值求解法-相似

假设我们有两个矩阵A,B如果存在一个可逆矩阵M，满足如下关系，可推出A相似于B
B = M − 1 A M → B ∼ A → A 和 B 有相同的特征值

$$\begin{equation} B=M^{-1}AM\rightarrow B\sim A\rightarrow A和B有相同的特征值 \end{equation}$$ B=M−1AM→B∼A→A和B有相同的特征值​​

• 假设矩阵A的特征值为$\lambda$,特征向量为x,
  $$\begin{array}{c}|B-\lambda I|=|M^{-1}AM-\lambda I|=|M^{-1}AM-M^{-1}\lambda M|=|M^{-1}||A-\lambda I||M|=|A-\lambda I|\end{array}$$
• 所以可得如下：
  $$\begin{array}{c}B\sim A\Rightarrow {\lambda }_A={\lambda }_B\end{array}$$
• Matlab中如何求解特征值
  对于给定的矩阵A来说，我们用一个可逆矩阵$M_1$右乘矩阵A，左乘$M_1^{-1}$，使得矩阵A逐渐变成上三角矩阵，通过不断地左右乘$M1,M2$,最后得到一个上三角矩阵B，这样我们就通过相似的形式得到主对角线上的特征值了。
  $$\begin{array}{c}B={(M_n\cdots M_2{M}_1)}^{-1}A(M_n\cdots M_2{M}_1)\to B_{UpTriangle}\sim A\to A和B有相同的特征值\end{array}$$

2.2 特殊特征值

假设我们有两个矩阵A,B,令AB的特征值为${\lambda }_{AB}$,特征向量为x,令BA的特征值为${\lambda }_{BA}$,证明${\lambda }_{AB}={\lambda }_{BA}$

• 根据定义可得：
  $$\begin{array}{c}ABx={\lambda }_{AB}x\end{array}$$
• 两边同时乘以B可得：
  $$\begin{array}{c}BABx={\lambda }_{AB}Bx\to (BA)(Bx)={\lambda }_{AB}(Bx)\to {\lambda }_{AB}={\lambda }_{BA}\end{array}$$

2.3 反对称矩阵

假设我们有一个矩阵A表示如下：
A = [ 0 1 − 1 0 ] → A T = − A

$$\begin{equation} A=\begin{bmatrix} 0&1\\\\ -1&0 \end{bmatrix}\rightarrow A^T=-A \end{equation}$$ A= ​0−1​10​ ​→AT=−A​​

• 矩阵A实现的功能是将向量x顺时针旋转90°。
  
• 求矩阵A的特征值和特征向量如下：
  $$\begin{array}{c}{\lambda }_1=i,v_1=\left[\begin{array}{c}1\\ \\ i\end{array}\right];{\lambda }_2=-i,v_1=\left[\begin{array}{c}1\\ \\ -i\end{array}\right];S=\left[\begin{array}{cc}1& 1\\ & \\ i& -i\end{array}\right];\Lambda =\left[\begin{array}{cc}i& 0\\ & \\ 0& -i\end{array}\right];\end{array}$$
• 分解A如下：
  $$\begin{array}{c}A=S\Lambda S^{-1}\Rightarrow \left[\begin{array}{cc}0& 1\\ & \\ -1& 0\end{array}\right]=\left[\begin{array}{cc}1& 1\\ & \\ i& -i\end{array}\right]\left[\begin{array}{cc}i& 0\\ & \\ 0& -i\end{array}\right]{\left[\begin{array}{cc}1& 1\\ & \\ i& -i\end{array}\right]}^{-1};\end{array}$$

3.对称矩阵

对称矩阵具有实数特征值和正交的特征向量。我们定义矩阵A如下：
A = [ 0 1 1 0 ] → λ 1 = 1 , v 1 = [ 1 1 ] ; λ 2 = − 1 , v 2 = [ − 1 1 ] ;

$$\begin{equation} A=\begin{bmatrix}0&1\\\\1&0\end{bmatrix}\rightarrow \lambda_1=1,v_1=\begin{bmatrix}1\\\\1\end{bmatrix};\lambda_2=-1,v_2=\begin{bmatrix}-1\\\\1\end{bmatrix}; \end{equation}$$ A= ​01​10​ ​→λ1​=1,v1​= ​11​ ​;λ2​=−1,v2​= ​−11​ ​;​​

• 可得如下：
  $$\begin{array}{c}A=S\Lambda S^{-1}\to \left[\begin{array}{cc}0& 1\\ & \\ 1& 0\end{array}\right]=\left[\begin{array}{cc}1& 1\\ & \\ 1& -1\end{array}\right]\left[\begin{array}{cc}1& 0\\ & \\ 0& -1\end{array}\right]{\left[\begin{array}{cc}1& 1\\ & \\ 1& -1\end{array}\right]}^{-1}\end{array}$$