黑马程序员---三天快速入门Python机器学习（第二天）_黑马程序员机器学习课件

---

前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：人工智能从入门到精通教程

---

三、分类算法

3.1 sklearn转换器和估计器

学习目标：

• 知道sklearn的转换器和估计器流程

3.1.1 转换器

1. 实例化一个转换器类
2. 调用fit_transform()

转换器调用有以下几种形式：

• fit_transform
• fit
• transform

3.1.2 估计器（sklearn机器学习算法的实现）

在sklearn中，估计器是一个重要的角色，是一类实现了算法的API

1、用于分类的估计器：

• 1）sklearn.neighbors k近邻算法
• 2）sklearn.native_bayes 贝叶斯
• 3）sklearn.linear_model.LogisticRegression 逻辑回归
• 4）sklearn.tree 决策树与随机森林

2、用于回归的估计器

• 1）sklearn.linear_model.LinearRegression 线性回归
• 2）sklearn.linear_model.Ridge 岭回归

3、用于无监督学习的估计器

• 1）sklearn.cluster.KMeans 聚类

估计器工作流程

估计器（estimator）:

• 1、实例化一个estimator
• 2、estimator.fit(x_train, y_train)计算
  -----调用完毕，模型生成
• 3、模型评估：
• • 1）直接比对真实值和预测值：y_predict = estimator.predict(x_test)
• • 2）计算准确率：accuracy = estimator.score(x_test, y_test)

3.2 K-近邻算法

学习目标：

• 说明K-近邻算法的距离公式
• 说明K-近邻算法的超参数K值以及取值问题
• 说明K-近邻算法的优缺点
• 应用K-近邻实现分类

3.2.1 什么是K-近邻算法（KNN）

根据你的邻居来推断你的类别

1、K-近邻算法原理
定义：如果一个样本在特征空间总的K个最相近的特征空间中最邻近的样本中的大多数属于某一个类别，则该样本也属于这个类别

如何确定谁是邻居？
计算距离公式：
1）欧式距离

2）曼哈顿距离：绝对值距离
3）明可夫斯基距离

2、电影类型分析

计算距离如下：

K=1时，离第二个电影近，属于爱情片
K=2时，离第二、三部电影近，属于爱情片
K=6时，无法确定
K值过大，容易受到样本不均衡的影响
K值过小，容易受到异常值影响

3.2.2 K-近邻算法API

sklearn.neighbor.KNeighborsClassifier(n_neighbors=5, algorithm='auto')
1

• n_neighbors：int型，k_neighbors查询默认使用的邻居数
• algorithm：{‘auto’，‘ball_tree’，‘kd_tree’}之一

3.2.3 案例1：鸢尾花种类预测

流程：
1）获取数据
2）数据集划分
3）特征工程：标准化
4）KNN预估器流程
5）模型评估

from sklearn.datasets import load_iris                  # 获取数据集
from sklearn.model_selection import train_test_split    # 划分数据集
from sklearn.preprocessing import StandardScaler        # 标准化
from sklearn.neighbors import KNeighborsClassifier      # KNN算法分类


def knn_iris():
    """
    用KNN算法对鸢尾花进行分类
    :return:
    """
    # 1、获取数据
    iris = load_iris()

    # 2、划分数据集
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)

    # 3、特征工程：标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)  # 训练集标准化
    x_test = transfer.transform(x_test)        # 测试集标准化

    # 4、KNN算法预估器
    estimator = KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train, y_train)

    # 5、模型评估
    # 方法1：直接比对真实值和预测值
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

    # 方法2：计算准确率
    score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
    print("准确率：\n", score)

    return None


if __name__ == "__main__":
    knn_iris()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

y_predict:
 [0 2 0 0 2 1 1 0 2 1 2 1 2 2 1 1 2 1 1 0 0 2 0 0 1 1 1 2 0 1 0 1 0 0 1 2 1
 2]
直接必读真实值和预测值：
 [ True  True  True  True  True  True False  True  True  True  True  True
  True  True  True False  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True False  True
  True  True]
准确率：
 0.9210526315789473
1
2
3
4
5
6
7
8
9
10

3.2.4 K-近邻总结

优点：简单，易于实现，无需训练
缺点：懒惰算法，对测试样本分类时的计算量大，内存开销大；必须指定K值，K值选择不当则分类精度不能保证
使用场景：小数据场景，几千~几万样本

3.3 模型选择与调优

学习目标：

• 说明交叉验证过程
• 说明超参数搜索过程
• 应用GridSearchCV实现算法参数的调优
  应用：
• 鸢尾花数据集预测
• Facebook签到位置预测调优

3.3.1 什么是交叉验证（cross validation）

交叉验证：将拿到的训练集数据，分为训练和验证集。以下图为例：将数据分成4份，其中一份作为验证集。然后经过4次的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果，又称4折交叉验证。

为什么需要交叉验证
交叉验证的目的：为了让被评估的模型更加准确可信

3.3.2 超参数搜索—网格搜索（Grid Search）

通常情况下，很多参数是需要手动指定的（如K-近邻算法中的K值），这种叫超参数。
但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型

模型选择与调优API

sklearn.model_selection.GridSearchCV(estimator, param_grid=None, cv=None)
1

• 对估计器的指定参数进行详尽搜索
• estimator：估计器对象
• param_grid：估计器参数（dict）{“n_neighbors”:[1,3,5]}
• cv：指定几折交叉验证
• fit()：输入训练数据
• score()：准确率

结果分析：

• 最佳参数：best_params_
• 最佳结果：best_score_
• 最佳估计器：best_estimator_
• 交叉验证结果：cv_results_

3.3.3 鸢尾花案例增加K值调优

from sklearn.datasets import load_iris                  # 获取数据集
from sklearn.model_selection import train_test_split    # 划分数据集
from sklearn.preprocessing import StandardScaler        # 标准化
from sklearn.neighbors import KNeighborsClassifier      # KNN算法分类
from sklearn.model_selection import GridSearchCV


def knn_iris_gscv():
    """
    用KNN算法对鸢尾花进行分类
    添加网格搜索和交叉验证
    :return:
    """
    # 1、获取数据
    iris = load_iris()

    # 2、划分数据集
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=6)

    # 3、特征工程：标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)  # 训练集标准化
    x_test = transfer.transform(x_test)        # 测试集标准化

    # 4、KNN算法预估器
    estimator = KNeighborsClassifier()
    # 加入网格搜索与交叉验证
    # 参数准备
    param_dict = {"n_neighbors": [1,3,5,7,9,11]}
    estimator = GridSearchCV(estimator, param_grid=param_dict, cv=10)  # 10折，数据量不大，可以多折

    estimator.fit(x_train, y_train)

    # 5、模型评估
    # 方法1：直接比对真实值和预测值
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

    # 方法2：计算准确率
    score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
    print("准确率：", score)

    # 查看最佳参数：best_params_
    print("最佳参数：", estimator.best_params_)
    # 最佳结果：best_score_
    print("最佳结果：", estimator.best_score_)
    # 最佳估计器：best_estimator_
    print("最佳估计器：", estimator.best_estimator_)
    # 交叉验证结果：cv_results_
    print("交叉验证结果:", estimator.cv_results_)

    return None


if __name__ == "__main__":
    knn_iris_gscv()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57

y_predict:
 [0 2 0 0 2 1 2 0 2 1 2 1 2 2 1 1 2 1 1 0 0 2 0 0 1 1 1 2 0 1 0 1 0 0 1 2 1
 2]
直接必读真实值和预测值：
 [ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True False  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True False  True
  True  True]
准确率： 0.9473684210526315
最佳参数： {'n_neighbors': 11}
最佳结果： 0.9734848484848484
最佳估计器： KNeighborsClassifier(n_neighbors=11)
交叉验证结果: {'mean_fit_time': array([0.00079339, 0.00080094, 0.0009928 , 0.0006006 , 0.00070167,
       0.00070193]), 'std_fit_time': array([0.0003968 , 0.00059903, 0.00076554, 0.00049046, 0.00045943,
       0.00078134]), 'mean_score_time': array([0.00129824, 0.00139394, 0.00149796, 0.0011945 , 0.00168662,
       0.00189412]), 'std_score_time': array([0.00045802, 0.00091274, 0.00066832, 0.00039337, 0.00117739,
       0.00070156]), 'param_n_neighbors': masked_array(data=[1, 3, 5, 7, 9, 11],
             mask=[False, False, False, False, False, False],
       fill_value='?',
            dtype=object), 'params': [{'n_neighbors': 1}, {'n_neighbors': 3}, {'n_neighbors': 5}, {'n_neighbors': 7}, {'n_neighbors': 9}, {'n_neighbors': 11}], 'split0_test_score': array([1., 1., 1., 1., 1., 1.]), 'split1_test_score': array([0.91666667, 0.91666667, 1.        , 0.91666667, 0.91666667,
       0.91666667]), 'split2_test_score': array([1., 1., 1., 1., 1., 1.]), 'split3_test_score': array([1.        , 1.        , 1.        , 1.        , 0.90909091,
       1.        ]), 'split4_test_score': array([1., 1., 1., 1., 1., 1.]), 'split5_test_score': array([0.90909091, 0.90909091, 1.        , 1.        , 1.        ,
       1.        ]), 'split6_test_score': array([1., 1., 1., 1., 1., 1.]), 'split7_test_score': array([0.90909091, 0.90909091, 0.90909091, 0.90909091, 1.        ,
       1.        ]), 'split8_test_score': array([1., 1., 1., 1., 1., 1.]), 'split9_test_score': array([0.90909091, 0.81818182, 0.81818182, 0.81818182, 0.81818182,
       0.81818182]), 'mean_test_score': array([0.96439394, 0.95530303, 0.97272727, 0.96439394, 0.96439394,
       0.97348485]), 'std_test_score': array([0.04365767, 0.0604591 , 0.05821022, 0.05965639, 0.05965639,
       0.05742104]), 'rank_test_score': array([5, 6, 2, 3, 3, 1])}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

3.2.4 案例：预测facebook签到位置

流程分析：
1）获取数据
2）数据处理
目的：

• 特征值 x：2<x<2.5
• 目标值y：1.0<y<1.5
• time -> 年与日时分秒
• 过滤签到次数少的地点
  3）特征工程：标准化
  4）KNN算法预估流程
  5）模型选择与调优
  6）模型评估

import pandas as pd
# 1、获取数据
data = pd.read_csv("./FBlocation/train.csv") #29118021 rows × 6 columns

# 2、基本的数据处理
# 1）缩小数据范围
data = data.query("x<2.5 & x>2 & y<1.5 & y>1.0") #83197 rows × 6 columns
# 2)处理时间特征
time_value = pd.to_datetime(data["time"], unit="s") #Name: time, Length: 83197
date = pd.DatetimeIndex(time_value)
data["day"] = date.day
data["weekday"] = date.weekday
data["hour"] = date.hour
data.head() #83197 rows × 9 columns
# 3)过滤签到次数少的地点
place_count = data.groupby("place_id").count()["row_id"]  #2514 rows × 8 columns
place_count[place_count > 3].head()
data_final = data[data["place_id"].isin(place_count[place_count>3].index.values)]
data_final.head() #80910 rows × 9 columns

# 筛选特征值和目标值
x = data_final[["x", "y", "accuracy", "day", "weekday", "hour"]]
y = data_final["place_id"]

# 数据集划分
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y)

from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV

# 3、特征工程：标准化
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)  # 训练集标准化
x_test = transfer.transform(x_test)        # 测试集标准化

# 4、KNN算法预估器
estimator = KNeighborsClassifier()
# 加入网格搜索与交叉验证
# 参数准备
param_dict = {"n_neighbors": [3,5,7,9]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=5)  # 10折，数据量不大，可以多折

estimator.fit(x_train, y_train)

# 5、模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

# 方法2：计算准确率
score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
print("准确率：", score)

# 查看最佳参数：best_params_
print("最佳参数：", estimator.best_params_)
# 最佳结果：best_score_
print("最佳结果：", estimator.best_score_)
# 最佳估计器：best_estimator_
print("最佳估计器：", estimator.best_estimator_)
# 交叉验证结果：cv_results_
print("交叉验证结果:", estimator.cv_results_)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64

3.4 朴素贝叶斯算法

学习目标：

• 说明条件概率与联合概率
• 说明贝叶斯公式，以及特征独立的关系
• 记忆贝叶斯公式
• 知道拉普拉斯平滑系数
• 应用贝叶斯公式实现概率的计算

3.4.1 什么是朴素贝叶斯算法

类别结果为概率大的

3.4.2 概率基础

1 概率（Probability）定义

• 概率定义为一件事情发生的可能性
• 取值[0,1]

2 女神是否喜欢计算案例

3.4.3 联合概率、条件概率与相互独立

3.4.4 贝叶斯公式

朴素？
假设：特征与特征之间相互独立
朴素贝叶斯算法？
朴素+贝叶斯
应用场景：文本分类，单词作为特征

4 拉普拉斯平滑系数

3.4.5 API

sklearn.naive_bayes.MultinomialNB(alpha=1.0)
1

• 朴素贝叶斯分类
• alpha：拉普拉斯平滑系数

3.4.6 案例：20类新闻分类

1 步骤分析
1）获取数据
2）划分数据集
3）特征工程：文本特征抽取
4）朴素贝叶斯预估器流程
5）模型评估

3.4.7 朴素贝叶斯算法总结

优点：

• 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率
• 对缺失数据不太敏感，算法也比较简单，常用于文本分类
• 分类准确度高，速度快
  缺点：
• 由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好

from sklearn.model_selection import train_test_split    # 划分数据集
from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer  # 文本特征抽取
from sklearn.naive_bayes import MultinomialNB           # 朴素贝叶斯


def nb_news():
    """
    用朴素贝叶斯算法对新闻进行分类
    :return:
    """
    # 1）获取数据
    news = fetch_20newsgroups(subset='all')

    # 2）划分数据集
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target)

    # 3）特征工程：文本特征抽取
    transfer = TfidfVectorizer()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4）朴素贝叶斯算法预估器流程
    estimator = MultinomialNB()
    estimator.fit(x_train, y_train)

    # 5）模型评估
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

    # 方法2：计算准确率
    score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
    print("准确率：", score)

    return None


if __name__ == "__main__":
    nb_news()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

y_predict:
 [ 2  8 10 ... 11 11  7]
直接必读真实值和预测值：
 [ True  True  True ...  True False  True]
准确率： 0.8471986417657046
1
2
3
4
5

3.5 决策树

学习目标：

• 说明信息熵的公式以及作用
• 说明信息增益的公式作用
• 应用信息熵实现计算特征的不确定性减少程度
• 了解决策树的三种算法实现

3.5.1 认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

3.5.2 决策树分类原理详解

1 原理
信息熵、信息增益等

2 信息熵的定义

3 决策树的划分依据之一-----信息增益

3.5.3 决策树API

sklearn.tree.DecisionTreeClassifier(criterion='gini', max_depth=None, random_state=None)
1

• 决策树分类器
• criterion：默认是“gini”系数，也可以选择信息增益的熵‘entropy’
• max_depth：树的深度大小
• random_state：随机数种子

3.5.4 决策树用于鸢尾花数据集

from sklearn.datasets import load_iris                  # 获取数据集
from sklearn.model_selection import train_test_split    # 划分数据集
from sklearn.naive_bayes import MultinomialNB              # 朴素贝叶斯
from sklearn.tree import DecisionTreeClassifier


def decision_iris():
    """
    决策树对鸢尾花进行分类
    :return:
    """
    # 1）获取数据集
    iris = load_iris()

    # 2）划分数据集
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)  # 随机数种子

    # 不用做特征工程：标准化
    # 3）决策树预估器
    estimator = DecisionTreeClassifier(criterion='entropy')
    estimator.fit(x_train, y_train)

    # 4）模型评估
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

    # 方法2：计算准确率
    score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
    print("准确率：", score)

	# 可视化决策树
    export_graphviz(estimator, out_file='iris_tree.dot', feature_names=iris.feature_names)

    return None


if __name__ == "__main__":
    decision_iris()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39

y_predict:
 [0 2 1 2 1 1 1 1 1 0 2 1 2 2 0 2 1 1 1 1 0 2 0 1 2 0 2 2 2 1 0 0 1 1 1 0 0
 0]
直接必读真实值和预测值：
 [ True  True  True  True  True  True  True False  True  True  True  True
  True  True  True  True  True  True False  True  True  True  True  True
  True  True  True  True  True False  True  True  True  True  True  True
  True  True]
准确率： 0.9210526315789473
1
2
3
4
5
6
7
8
9

3.5.5 决策树可视化

1 保存树的结构到dot文件

sklearn.tree.export_graphviz()  # 该函数能够导入dot文件
tree.export.graphviz(estimator, out_file='tree.dot', feature_names=[","])
1
2

2 网站显示结构
http://webgraphviz.com/

from sklearn.datasets import load_iris                  # 获取数据集
from sklearn.model_selection import train_test_split    # 划分数据集
from sklearn.tree import DecisionTreeClassifier, export_graphviz, plot_tree
import matplotlib.pyplot as plt


def decision_iris():
    """
    决策树对鸢尾花进行分类
    :return:
    """
    # 1）获取数据集
    iris = load_iris()

    # 2）划分数据集
    x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)  # 随机数种子

    # 不用做特征工程：标准化
    # 3）决策树预估器
    estimator = DecisionTreeClassifier(criterion='entropy')
    estimator.fit(x_train, y_train)

    # 4）模型评估
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

    # 方法2：计算准确率
    score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
    print("准确率：", score)

    # 可视化决策树
    export_graphviz(estimator, out_file='iris_tree.dot', feature_names=iris.feature_names)
    plot_tree(decision_tree=estimator)
    plt.show()

    return None


if __name__ == "__main__":
    decision_iris()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41

3.5.6 决策树总结

优点：简单的理解和解释，树木可视化
缺点：决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合
改进：

• 剪枝cart算法（决策树API当中已经实现，随机森林参数调优有相关介绍）
• 随机森林

3.5.7 案例：泰坦尼克号乘客生存预测

流程分析：特征值、目标值
1）获取数据
2）数据处理：缺失值处理，特征值->字典类型，
3）准备好特征值、目标值
4）划分数据集
5）特征工程：字典特征处理
6）决策树预估器流程
7）模型评估

import pandas as pd

# 1、获取数据
path = "C:/Users/zdb/Desktop/machine_learning/DataSets/titanic.csv"
titanic = pd.read_csv(path) #1313 rows × 11 columns

# 筛选特征值和目标值
x = titanic[["pclass", "age", "sex"]]
y = titanic["survived"]

# 2、数据处理
# 1）缺失值处理
x["age"].fillna(x["age"].mean(), inplace=True)

# 2)转换成字典
x = x.to_dict(orient="records")

from sklearn.model_selection import train_test_split
# 3、数据集划分
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=22)

# 4、字典特征抽取
from sklearn.feature_extraction import DictVectorizer
transfer = DictVectorizer()
x_train = transfer.fit_transform(x_train)
x_test = transfer.transform(x_test)

from sklearn.tree import DecisionTreeClassifier, export_graphviz

# 3）决策树预估器
estimator = DecisionTreeClassifier(criterion='entropy')
estimator.fit(x_train, y_train)

# 4）模型评估
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

# 方法2：计算准确率
score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
print("准确率：", score)

# 可视化决策树
export_graphviz(estimator, out_file='titanic_tree.dot', feature_names=transfer.get_feature_names())

import matplotlib.pyplot as plt
from sklearn.tree import plot_tree
plot_tree(decision_tree=estimator)
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

3.6 集成学习方法之随机森林

学习目标：

• 说明随机森林每棵决策树的建立过程
• 直达为什么需要随机有放回（Booststrap）的 抽样
• 说明随机森林的超参数

3.6.1 什么是集成学习方法

集成学习方法通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各种独立地学习和做出预测。这些预测最后结合成组合预测，因此优于任何一个单分类做出的预测

3.6.2 什么是随机森林

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别数输出的类别的众数而定
例如，如果训练了5棵树，5棵树的结果是True ，1棵树的结果是False，那么最终结果为True

3.6.3 随机森林原理过程

两个随机：

• 训练集随机：BoostStrap，N个样本中随机有放回抽样
• 特征值随机：从M个特征中随机抽取m个特征，M>>m

训练集：特征值、目标值

为什么采用BootStrap抽样
1、为什么要随机抽样训练集？
如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
2、为什么要有放回地抽样？
如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”，也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树的投票表决

3.6.4 API

随机森林分类器

sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion='gini', max_depth=None, /
bootstrap=True, random_state=None, min_samples_split=2)
1
2

• n_estimators：integer，optional(default=10)森林里的树木数量，可以用网格搜索
• criteria：string，可选（default=‘gini’），分割特征的测量方法
• max_depth：integer或None，可选（默认无），树的最大深度5，8，15，25，30 可以用网格搜索
• max_teatures=‘auto’，每个决策树的最大特征数量
• • if ‘auto’ ，then max_features = sqrt(n_features)
• • if ‘sqrt’ ，then max_features = sqrt(n_features)
• • if ‘log2’ ，then max_features = log2(n_features)
• • if None，then max_features = n_features
• booststrap：boolean，optional（default=True）是否在构建树时使用放回抽样
• min_samples_split：节点划分最少样本数
• min_samples_leaf：叶子节点的最小样本数

超参数：n_estimator，max_depth，min_samples_split，min_samples_leaf

3.6.5 随机森林案例预测

在之前的代码中增加这个代码块

from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
estimator = RandomForestClassifier()

# 加入网格搜索与交叉验证
# 参数准备
param_dict = {"n_estimators":[120,200,300,500,800,1200], "max_depth":[5,8,15,25,30]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)  # 10折，数据量不大，可以多折

estimator.fit(x_train, y_train)

# 5、模型评估
# 方法1：直接比对真实值和预测值
y_predict = estimator.predict(x_test)
print("y_predict:\n", y_predict)
print("直接必读真实值和预测值：\n", y_test == y_predict)  # 直接比对

# 方法2：计算准确率
score = estimator.score(x_test, y_test)  # 测试集的特征值，测试集的目标值
print("准确率：", score)

# 查看最佳参数：best_params_
print("最佳参数：", estimator.best_params_)
# 最佳结果：best_score_
print("最佳结果：", estimator.best_score_)
# 最佳估计器：best_estimator_
print("最佳估计器：", estimator.best_estimator_)
# 交叉验证结果：cv_results_
print("交叉验证结果:", estimator.cv_results_)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

3.6.6 总结

• 在当前所有算法中，具有极好的准确率
• 能够有效地运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性