机器学习课程复习——奇异值分解

1. 三种奇异值分解

奇异值分解（Singular Value Decomposition, SVD）包含了：

• 完全奇异值分解（Complete Singular Value Decomposition, CSVD）
• 紧奇异值分解（Tight Singular Value Decomposition, TSVD）
• 截断奇异值分解（Truncated Singular Value Decomposition, TSVD）

note：这三种奇异值分解的区别主要在$\sum$上，分别为$m\times n$包含所有奇异值；$n\times n$包含非0奇异值；$k\times k$包含最大的$k$个奇异值。 

1.1. 完全奇异值分解

1.1.1. 定义

• 矩阵的奇异值分解一定存在，但不唯一
• A不一定是方阵

1.1.2. 示例

1.2. 紧奇异值分解

1.2.1. 定义

note：即$\sum _{r}$的大小由矩阵$A$的秩决定。

1.2.2. 示例 

1.3. 截断奇异值分解

1.3.1. 定义

1.3.2. 示例 

2. 几何解释

3. 性质

4. 奇异值分解的计算

4.1. 首先求$A^{T}A$的特征值和特征向量

4.2. 求$n$阶正交矩阵$V$

note：将$v_{1}$和$v_{2}$按顺序合并。

4.3. 求$m\times n$对角矩阵$\sum$

note：将$\sigma _{1}$和$\sigma _{2}$按顺序合并。 

4.4. 求$m$阶正交矩阵$U$

4.5. 得到奇异值分解