当前位置:   article > 正文

核主成分分析(Kernel-PCA)

核主成分分析

问题:

已知数据集,其中。Mercer核函数,根据Mercer定理,存在映射,使得。主成分分析是在中讨论的,那么核主成分分析是在映射后的空间中讨论的。即讨论映射后的数据集中的主成分分析。

—————————————————————————————————————————————————————

我们知道在讨论主成分分析的主要部分是求协方差矩阵及其特征值和特征向量,而实际我们用到的是特征向量。

协方差矩阵:

为了讨论方便,令

问题一:因为通常映射是不显示的,就是解不出来的,所以很难求解,所以,我们从令一个角度讨论的特征向量,

的特征向量,是对应的特征值。即:

显然:

即存在,其中,使得

这样我们便得到的特征向量的性质,即是由张成的。

因为

所以

带入上式得:

右式:

左式:


其中

我们用矩阵表示上式等式,即:

其中:



那么:

即,的特征向量。

—————————————————————————————————————————————————————

问题二:那么怎么求?



其中:为核矩阵,即,

所以:

其中

至此,已经求出,则特征向量就可以求出了。

————————————————————————————————————————————————————

问题三:求出后,怎么进行归一化?

我们根据协方差矩阵的特征向量,我们根据,可以归一化

其中为特征向量对应的的特征值。

—————————————————————————————————————————————————————

结论:

根据前三个问题的解答,我们已经解出协方差矩阵的特征向量

—————————————————————————————————————————————————————

问题:

怎么求新数据的核主成分,即求:

问题二中的方法,


其中

即:

其中:每一个元素都为1。

————————————————————————————————————————————————————

例子:

RBF-PCA:


声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Monodyee/article/detail/129099
推荐阅读
相关标签
  

闽ICP备14008679号