十九.降维之线性判别分析(LDA)原理和sklearn实现

1.LDA的数学原理

LDA是一种有监督的降维技术，它的每个样本输出都是有类别的。
LDA的思想是投影后类间方差尽可能大，类内方差尽可能小。

(1)类间散度矩阵

类间散度矩阵为：
$${\mathbf{S}}_b=\sum _{i=1}^C({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$
其中，$C$为类别总数，$\mu$为所有样本的均值：
$$\mu =\frac{1}{m}\sum _{i=1}^m{\mathbf{x}}^i$$
$|C_i|$为类别为$C_i$的样本数，${\mu }_i$为类别为$C_i$的样本均值：
$${\mu }_i=\frac{1}{|C_i|}\sum _{i=1}^{|C_i|}{\mathbf{x}}^i$$

(2)类内散度矩阵

类间散度矩阵为：
$${\mathbf{S}}_w=\sum _{i=1}^C\sum _{{\mathbf{x}}^i\in C_i}({\mathbf{x}}^i-{\mu }_i)({\mathbf{x}}^i-{\mu }_i{)}^T$$

(3)协方差矩阵

投影后的类间协方差矩阵：
$${\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}$$
投影后的类内协方差矩阵：
$${\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}$$
类内方差最小，类间方差最大，等价于最大化下式：
$$\arg \underset{w}{\max }\frac{{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}}{{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}}$$
分子和分母都为$\mathbf{w}$的二次项，不失一般性，令${\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=1$，则上式等价于最小化下式：
$$\begin{gathered} \arg \underset{w}{\min }-{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w} \\ s.t.{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w}=1 \end{gathered}$$
带约束的最优化问题，使用拉格朗日乘子法：
$$J(\mathbf{w})=-{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}-\lambda (1-{\mathbf{w}}^{\mathbf{T}}{\mathbf{S}}_{\mathbf{w}}\mathbf{w})$$
此时，求梯度并令梯度为0：
$$\frac{\partial J(\mathbf{w})}{\partial \mathbf{w}}=-2{\mathbf{S}}_{\mathbf{b}}\mathbf{w}+2\lambda {\mathbf{S}}_{\mathbf{w}}\mathbf{w}=0$$
最终得：
$${\mathbf{S}}_{\mathbf{w}}^{-1}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}=\lambda \mathbf{w}$$
因此，需要求${\mathbf{S}}_{\mathbf{w}}^{-1}{\mathbf{S}}_{\mathbf{b}}\mathbf{w}$的特征值和特征向量。
由于利用了样本的类别得到的投影矩阵，因此降维到的维度$d$最大值为类别数减1。

2.LDA算法流程

输入：$m$个$n$维样本，有$k$个类别，需要降到的维度为$d$。
输出：降维后的样本集。
(1)分别求出类间散度矩阵${\mathbf{S}}_{\mathbf{b}}$和类内散度矩阵${\mathbf{S}}_{\mathbf{w}}$。
(2)计算出矩阵${\mathbf{S}}_{\mathbf{w}}^{-1}{\mathbf{S}}_{\mathbf{b}}$。
(3)计算出矩阵${\mathbf{S}}_{\mathbf{w}}^{-1}{\mathbf{S}}_{\mathbf{b}}$的最大$d$个特征值和对应的特征向量，组成投影矩阵：
$$\mathbf{W}=({\mathbf{w}}_1,{\mathbf{w}}_2,...,{\mathbf{w}}_d)$$
(4)得到新的样本：
$${\mathbf{x}}_{\mathbf{n}\mathbf{e}\mathbf{w}}^{\mathbf{i}}={\mathbf{W}}^{\mathbf{T}}{\mathbf{x}}^{\mathbf{i}}$$

3.LDA与PCA的区别

(1)LDA为有监督降维，PCA为无监督降维。

(2)PCA可以降低到任意维度，LDA只能降维最大至类别数减1。

(3)LDA可以进行分类。

4.sklearn实现LDA

(1)生成数据

import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
from sklearn.datasets import make_classification
x, y = make_classification(n_samples=1000, n_features=3, n_redundant=0, n_classes=3, n_informative=2,
                           n_clusters_per_class=1,class_sep =0.5, random_state =10)
print(x.shape)
fig = plt.figure()
ax = Axes3D(fig)
ax.scatter(x[:, 0], x[:, 1], x[:, 2],c=y)
1
2
3
4
5
6
7
8
9

输出：

(2)PCA

from sklearn.decomposition import PCA
model1=PCA(n_components=2)
x1 = model1.fit_transform(x)
print(x1.shape)
plt.scatter(x1[:,0],x1[:,1],c=y)
plt.show()
1
2
3
4
5
6

(3)LDA

from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
model2 = LinearDiscriminantAnalysis(n_components=2)
model2.fit(x,y)
x2=model2.transform(x)
print(x2.shape)
plt.scatter(x2[:,0],x2[:,1],c=y)
plt.show()
1
2
3
4
5
6
7