我家自动化

这个屌丝很懒，什么也没留下！

热门标签

线性代数|机器学习-P13计算特征值和奇异值

作者：我家自动化 | 2024-06-21 02:34:08

踩

1. 特征值

我们想要计算一个矩阵的特征值，一般是用如下公式：

| | A - λ I | | = 0 \to λ_{1}, λ_{2}, \dots, λ_{n}

$\begin{equation} ||A-\lambda I||=0\rightarrow \lambda_1,\lambda_2,\cdots,\lambda_n \end{equation}$

∣∣ A - λ I ∣∣ = 0 \to λ_{1}, λ_{2}, \dots, λ_{n}

但这种方法最大的弊端是对于求解n个解的方程来说，太困难了，当n>100以后，简直无法想象，所以我们只有另辟蹊径，这时候我们想到了相似矩阵的性质，假设矩阵A相似于矩阵

B

，那么矩阵A与矩阵

B

特征值相同；

| | A - λ_{a} I | | = | | B - λ_{b} I | |, B = P^{- 1} A P

| | A - λ_{a} I | | = | | P^{- 1} A P - λ_{b} I | | = | | P^{- 1} A P - P^{- 1} λ_{b} I P | |

| | P^{- 1} A P - P^{- 1} λ_{b} I P | | = | | P^{- 1} | | | | A - λ_{b} I | | | | P | | = | | A - λ_{b} I | |

所以得到当矩阵 $A\sim B\rightarrow \lambda_a=\lambda_b$
$| | A - λ_{b} I | | = | | A - λ_{b} I | |$
那我们的思路是如果我们对于原矩阵A无法求特征值，那就找一个与A相似的矩阵B，如果矩阵B是一个上三角矩阵 $C$ ，那么我们对矩阵C进行 $||C-\lambda I||=0$ ,就直接发现主对角线上的元素就是特征值，真是方便的思路。

假设我们有一个矩阵 $A_0$ ，我们知道不管什么方法一定能够通过QR分解，且Q为正交矩阵，R为上三角矩阵。那么可得如下：

A_{0} = Q_{0} R_{0} ， Q_{0}^{T} Q_{0} = I

$\begin{equation} A_0=Q_0R_0，Q_0^TQ_0=I \end{equation}$

A_{0} = Q_{0} R_{0} ， Q_{0}^{T} Q_{0} = I

我们知道，矩阵 $Q_0$ 一定可逆，所以矩阵 $A_0$ 左右两边分别乘以 $Q_0^T,Q_0$

$Q_{0}^{T} A_{0} Q_{0} = Q_{0}^{T} Q_{0} R_{0} Q_{0} = R_{0} Q_{0}$ $\begin{equation} Q_0^TA_0Q_0=Q_0^TQ_0R_0Q_0=R_0Q_0 \end{equation}$ $Q_{0}^{T} A_{0} Q_{0} = Q_{0}^{T} Q_{0} R_{0} Q_{0} = R_{0} Q_{0}$
我们发现矩阵A乘以矩阵 $Q_0$ 后居然得到了 $R_0Q_0$ ,我们定义新的矩阵 $A_1=R_0Q_0$

$Q_{0}^{T} A_{0} Q_{0} = A_{1} \to λ_{a 1} = λ_{a 0}$ $\begin{equation} Q_0^TA_0Q_0=A_1\rightarrow \lambda_{a1}= \lambda_{a0} \end{equation}$ $Q_{0}^{T} A_{0} Q_{0} = A_{1} \to λ_{a 1} = λ_{a 0}$
小结1：当我们不断地用正交矩阵Q处理的时候，矩阵 $A_1$ 逐渐会变成上三角矩阵
小结2：当我们矩阵 $A_0$ 通过 $Q_0$ 变换成为对角矩阵 $\Lambda$

$(Q_{0} Q_{1} \dots Q_{n})^{T} A_{0} (Q_{0} Q_{1} \dots Q_{n}) = A_{n} \to λ_{a 0} = λ_{a n}$ $\begin{equation} (Q_0Q_1\cdots Q_n)^TA_0(Q_0Q_1\cdots Q_n)=A_n\rightarrow \lambda_{a0}= \lambda_{an} \end{equation}$ $(Q_{0} Q_{1} \dots Q_{n})^{T} A_{0} (Q_{0} Q_{1} \dots Q_{n}) = A_{n} \to λ_{a 0} = λ_{an}$

重新构造相似矩阵 $A_0\sim A_1\rightarrow A_0-SI\sim A_1-SI$ 是为了加快运算速度，具体证明原因暂时不知道。。。后续研究！！！

由上面可得，当我们定义 $A_0=Q_0R_0$ 时，我们只需要反转 $Q_0R_0\rightarrow R_0Q_0=A_1$ ，就能得到 $A_0\sim A_1$

Q_{0}^{T} A_{0} Q_{0} = A_{1} ， Q_{0}^{T} Q_{0} = I

$\begin{equation} Q_0^TA_0Q_0=A_1，Q_0^TQ_0=I \end{equation}$

Q_{0}^{T} A_{0} Q_{0} = A_{1} ， Q_{0}^{T} Q_{0} = I

将等式两边减去 $S I$ 可得：
$Q_{0}^{T} A_{0} Q_{0} - S I = A_{1} - S I \to Q_{0}^{T} A_{0} Q_{0} - Q_{0}^{T} S I Q_{0} = A_{1} - S I$
整理可得：
$\to Q_{0}^{T} (A_{0} - S I) Q_{0} = A_{1} - S I \to Q_{0}^{- 1} (A_{0} - S I) Q_{0} = A_{1} - S I$
整理可得：
$Q_{0}^{- 1} (A_{0} - S I) Q_{0} = A_{1} - S I \to A_{0} - S I \sim A_{1} - S I$

在这里插入图片描述

同理可以用迭代法求解奇异值，思路还是一样

1. 通过正交矩阵 $Q_0,Q_1$ 得到 $A_0=U\Sigma V^T\rightarrow A_1=Q_0A_0Q_2=(Q_0U)\Sigma (V^TQ_2)$
1. 最后得到 $A_n$ 为上双对角矩阵
1. 将 $A_n\rightarrow A_n-SI$ 后进行QR迭代
1. 得到最后的 $\sigma_1,\sigma_2,\cdots,\sigma_n$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/741706