sklearn学习之：（4）PCA降维算法 + SVM 的分类算法（SVC）_先pca再svm

简介

• 使用 sklearn 机器学习库中的 SVM （支持向量机）算法中的 SVC （支持向量机分类算法）来实现人脸多分类
• 人脸数据集是 sklearn 内置的人脸数据库
• 首先使用原数据库直接建立模型进行分类测试
• 使用 PCA 降维算法进行降维，测试保留多少比例的信息可以有较高的分类结果
• 精确确定 PCA 算法保留的特征种类，并得到这种降维策略下的预测精确度

1. 原数据直接做人脸分类

• 使用 SVM 支持向量机中的 SVC 进行分类，结果达到 96%

from sklearn.decomposition import PCA
from sklearn.datasets import fetch_olivetti_faces
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np
import cv2
import math

data = fetch_olivetti_faces()

x = data.data
y = data.target

x_train,x_test,y_train,y_test = train_test_split(x_copy,y,test_size=0.33,random_state=15)

classifier = SVC(kernel='linear')

history = classifier.fit(x_train,y_train)

score = classifier.score(x_test,y_test)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

• 看一下现在数据的维度是：4096，即 64 * 64 的单通道图片（在图片数据中，我们认为数据的维度就是其特征的多少）
  

2. PCA降维后（feature_ration是留下来的特征比例）

from sklearn.decomposition import PCA
from sklearn.datasets import fetch_olivetti_faces
from sklearn.tree import DecisionTreeClassifier
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
import matplotlib.pyplot as plt
import numpy as np
import cv2
import math

data = fetch_olivetti_faces()

x = data.data
y = data.target

feature_ratio = np.linspace(0.5,0.99,20)	
# 保留数据的特征从50% 尝试到 99%


x_shape=[]		#按照保存特征比例进行 PCA 降维之后，数据的维度保存在这个列表中
scores = []		#每次降维后的数据的评分保存在这里面

for i in feature_ratio:
    pca = PCA(i)
    x_copy = pca.fit_transform(x)

    x_train,x_test,y_train,y_test = train_test_split(x_copy,y,test_size=0.33,random_state=15)

    classifier = SVC(kernel='linear')

    history = classifier.fit(x_train,y_train)

    score = classifier.score(x_test,y_test)

    x_shape.append(x_copy.shape[1])

    scores.append(score)

plt.plot(x_shape,scores)
plt.xlabel('number of features')
plt.ylabel('accuracy')
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42

• 可以看到，保存 50 个特征左右的时候，就可以让整个模型表现的效果很好
• 我们可以进行进一步的探索，尝试把保存的特征数设置在 35-60之间，看看哪个具体的值可以让模型表现更好

3. 进一步缩小范围，确定 PCA 保存特征的精确数值

x_shape=[]
scores = []

for i in range(35,60):
    pca = PCA(i)
    x_copy = pca.fit_transform(x)

    x_train,x_test,y_train,y_test = train_test_split(x_copy,y,test_size=0.33,random_state=15)

    classifier = SVC(kernel='linear')

    history = classifier.fit(x_train,y_train)

    score = classifier.score(x_test,y_test)

    x_shape.append(x_copy.shape[1])

    scores.append(score)

plt.plot(x_shape,scores)
plt.xlabel('number of features')
plt.ylabel('accuracy')
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

• 可以看出，当保留 35 个特征的时候，就可以使模型达到最好的表现效果；甚至比未降维的原数据表现结果的 96% 还要高 1%

4. 降维后的数据保留了原数据的多少信息？

• 用 PCA 把原数据降维成 35 维

• 使用 explained_variance_ 属性来看留下的每个特征的贡献率

• 然后使用 np.cumsum 对所有的特征贡献度进行累加，最后的结果就是剩下的特征占全部特征信息的比例，为 66.13649 %
  

• 反过来再验证一下，看保留 66.13649 %信息的时候，是否真的能达到如此高的分数；检验成功。