主成分分析PAC_pac主成分分析法评价好坏

一、模型介绍

  维度灾难，常是指在涉及到向量的计算的问题中，随着变量维数的增加，计算量呈指数倍增长的一种现象。变量过多导致原本简单的问题复杂化，甚至出现了无法解决的情况。在维度灾难的背景下，主成分分析法（Principal components analysis）孕育而生，由于各变量间存在一定的相关关系，因此有可以用较少的综合指标来反映多维数据里的信息，利用这一思路就可以通过数学手段，把多个变量化为少数变量，实现数据降维。

二、符号说明

三、模型步骤

3.1将原始数据按列组成 n 行 m 列矩阵 X

  将数据排列为矩阵，其中每一行为一种属性，列为属性的数据序列：

​ $X=\left(\begin{array}{ccc}{a}_{11}& \cdots & a_{1m}\\ a_{21}& \cdots & a_{2m}\\ ⋮& \ddots & ⋮\\ a_{n1}& \cdots & a_{nm}\end{array}\right)$

3.2数据标准化

  将X的每一行（代表一个属性）进行零均值化，即减去这一行的均值:

​ $a_{ij}=\frac{1}{m}\sum _{j=1}^m{a}_{ij}-a_{ij}$

3.3求协方差矩阵

​ $C=\frac{1}{m}X{X}^T$

  以两种属性的标准化数据为例，即：$X=\left(\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\\ b_1& b_2& \cdots & b_n\end{array}\right)$

则协方差矩阵如下：

​ $C=\frac{1}{m}X{X}^T\left(\begin{array}{cc}\frac{1}{m}{\sum }_{i=1}^m{a}_i^2& \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i\\ \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i& \frac{1}{m}{\sum }_{i=1}^m{b}_i^2\end{array}\right)=\left(\begin{array}{cc}Cov(a,a)& Cov(a,b)\\ Cov(b,a)& Cov(b,b)\end{array}\right)$

3.4求矩阵特征值与特征向量

  计算协方差矩阵的特征值和特征向量，参考线代相关知识。

  求解后特征值为：${\lambda }_1、{\lambda }_2\cdots {\lambda }_n$

  标准化后的特征向量为：$c_1、c_2\cdots c_n$

3.5得到变换矩阵P

  将特征向量按对应特征值大小从上到下按行排列成矩阵，根据需要取前 k 行组成矩阵 P，那么 P 的前 K 行就是要寻找的基：

​ $P=\left(\begin{array}{c}{c}_1^T\\ c_2^T\\ ⋮\\ c_k^T\end{array}\right)$

3.6$Y=PX$即为降维到 k 维后的数据

  用 P 的前 K 行组成的矩阵乘以 X 就使得 X 从 N 维降到了 K 维并满足上述优化条件。

四、PAC代码

五、模型优缺点

优点

1、缓解维度灾难：PCA 算法通过舍去一部分信息之后能使得样本的采样密度增大（因为维数降低了），这是缓解维度灾难的重要手段。

2、降噪：当数据受到噪声影响时，最小特征值对应的特征向量往往与噪声有关，将它们舍弃能在一定程度上起到降噪的效果。

3、特征独立具有：PCA 不仅将数据压缩到低维，它也使得降维之后的数据各特征相互独立；

缺点

1、过拟合：PCA 保留了主要信息，但这个主要信息只是针对训练集的，而且这个主要信息未必是重要信息。有可能舍弃了一些看似无用的信息，但是这些看似无用的信息恰好是重要信息，只是在训练集上没有很大的表现，所以 PCA 也可能加剧了过拟合。

2、新数据没有合理科学解释。