线性代数|机器学习-P3乘法和因式分解矩阵

1. 矩阵分解

目前我们有很多重要的矩阵分解，每个分解对应于多个前提条件，分解方法，分解后的形状会中如下：

2. $S=Q\Lambda Q^T$

当S为对称矩阵的时候，可以将S分解：$S=Q\Lambda Q^T$,展开可得：
S = λ 1 q 1 q 1 T + λ 2 q 2 q 2 T + ⋯ λ n q n q n T

$$\begin{equation} S=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\cdots\lambda_nq_nq_n^T \end{equation}$$ S=λ1​q1​q1T​+λ2​q2​q2T​+⋯λn​qn​qnT​​​

• 两边乘以$q_i$可得：
  $$\begin{array}{c}S{q}_i={\lambda }_1{q}_1{q}_1^T{q}_i+{\lambda }_2{q}_2{q}_2^T+\cdots +{\lambda }_i{q}_i{q}_i^T{q}_i+\cdots +{\lambda }_n{q}_n{q}_n^T{q}_i;q_i^T{q}_i=1,q_j^T{q}_i=0,i\ne j\end{array}$$
  $$\begin{array}{c}S{q}_i={\lambda }_i{q}_i\to {\lambda }_i=q_i^{T}S{q}_i\end{array}$$

3. $A=U\Sigma V^T$

奇异值分解可以对任何实数矩阵有效，这里面核心的有两点：

• 1. 通过$A{A}^T$来算 ${\sigma }^2$时，我们需要对A的 $\sigma$的正负号进行验证.
• 2. 我们需要了解U,V正交单位特征向量与A的四个子空间的关系：真神奇！！！
     

4. A = LU 分解

假设我们有矩阵A，我们希望对其进行LU分解如下：
A = L U → [ 2 3 4 7 ] = [ 1 0 2 1 ] [ 2 3 0 1 ]

$$\begin{equation} A=LU\rightarrow\begin{bmatrix} 2&3\\\\ 4&7 \end{bmatrix}=\begin{bmatrix} 1&0\\\\ 2&1 \end{bmatrix}\begin{bmatrix} 2&3\\\\ 0&1 \end{bmatrix} \end{equation}$$ A=LU→ ​24​37​ ​= ​12​01​ ​ ​20​31​ ​​​

• 矩阵A分解为两个秩为1的矩阵相加：
  $$\begin{array}{c}\left[\begin{array}{cc}2& 3\\ & \\ 4& 7\end{array}\right]=\left[\begin{array}{cc}2& 3\\ & \\ 4& 6\end{array}\right]+\left[\begin{array}{cc}0& 0\\ & \\ 0& 1\end{array}\right]=\left[\begin{array}{c}1\\ \\ 2\end{array}\right]\left[\begin{array}{cc}2& 3\end{array}\right]+\left[\begin{array}{c}0\\ \\ 1\end{array}\right]\left[\begin{array}{cc}0& 1\end{array}\right]\end{array}$$

5. 矩阵的四个子空间

我们知道，对于一个m 行 n 列的矩阵A来说，根据列和行来说，分成4个空间，

• $C(A)$列空间(columns space)，维度为$R^m$
• $C(A^T)$行空间(rows space)，维度为$R^n$
• $N(A)$零空间(rows space)，维度为$R^n$
• $N(A^T)$左零空间(rows space)，维度为$R^m$
  四个子空间的相互关系如下：