特征分解、奇异值分解、PCA（个人理解）_奇异值分解和pca的关系

1 矩阵分解是提取该矩阵内部一些特征的过程。
2 在自然语言处理中，特征分解出一个任务矩阵的特征值和特征向量，其中某一特征向量是该任务的某一特征，相对应的特征值变为此特征的重要性程度或者其他数字化指标。奇异值分解、PCA都是提取任务对应特征的一个方法，而现在使用神经网络来提取特征，其实道理都差不多只不过换了一种方式。

特征分解
性质：1 只有可对角化矩阵才可以特征分解。
2 一个特征值可以对应一个或者一个以上的特征向量。
若A是一个自然语言处理任务中针对某一任务抽取出的一些features的矩阵表示，则经过矩阵分解便可得到A中蕴含的更深层次的特征。若对该任务中的新的数据集（x1,x2,x3,…,xn）通过A来得到该数据集的属性（数学上表示为空间属性），则特征向量便蕴含了该空间属性的某个维度，特征值蕴含了该维度所占的比例，通过特征值可以抽取出主要的和次要的变换。
图的来源：http://blog.csdn.net/jinshengtao/article/details/18448355

奇异值分解（来自深度学习花书）
1 奇异值分解是将矩阵分解为奇异向量和奇异值。通过奇异值分解，我们会得到一些与特征分解相同类型的信息。
2 奇异值分解有更广泛的应用，每个实数矩阵都有一个奇异值分解，但不一定都有特征分解，例如，非方阵的矩阵没有特征分解，这时我们只能使用奇异值分解。
3 公式：
假设A是一个M * N的矩阵，那么得到的U是一个M * M的方阵（称为左奇异向量），Σ是一个M * N的矩阵（除了对角线的元素都是0，对角线上的元素称为奇异值），VT(V的转置)是一个N * N的矩阵（称为右奇异向量）。

这些矩阵中的每一个经定以后都拥有特殊的结构。矩阵U和V都定义为正交矩阵，而矩阵Σ定义为对角矩阵（注意，矩阵Σ不一定是方阵）。
对角矩阵Σ对角线上的元素称为A的奇异值(singular value).矩阵U的列向量称为左奇异向量(left singular vector)，矩阵V的列向量称为右奇异向量(right singular vector)。
 事实上，我们可以用与A相关的特征分解去解释A的奇异值分解。A的左奇异向量是AAT(AT为A的转置)的特征向量。A的右奇异向量是ATA的特征向量。A的非零奇异值是ATA特征值的平方根，也是AAT特征值的平方根。
 SVD最有用的一个性质可能是拓展矩阵求逆到非方矩阵上。
1
2
3
4

主成分分析PCA
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维.
http://blog.csdn.net/xiaojidan2011/article/details/11595869