决策树与随机森林总结_决策树与随机森林实验报告

import pandas as pd
from sklearn.tree import DecisionTreeClassifier
import matplotlib.pyplot as plt
from sklearn.model_selection import GridSearchCV
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np
import time
1
2
3
4
5
6
7
8
9
10
11
12

决策树(红酒数据集为例)

1：Criterion

• 将数据表格转化为一棵树，需要找到最佳节点和最佳分支方法，对分类树来说，衡量这个最佳的直标叫做不纯度
• Criterion这个参数正是用来决定不纯度的计算方法的
  • entropy 信息熵
  • gini 基尼系数
• 区别 ：比起基尼系数，信息熵对不纯度更加敏感，对不纯度的惩罚最强。但是在实际使用中，信息熵和基尼系数的效果基 本相同。信息熵的计算比基尼系数缓慢一些，因为基尼系数的计算不涉及对数

from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
1
2
3

wine=load_wine()
# dataset 提供数据集默认是data，target分开的，连接查看结构使用的方法为pd.concat
pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)
1
2
3

178 rows × 14 columns

xtrain,xtest,ytrain,ytest=train_test_split(wine.data,wine.target,test_size=0.3)
1

xtrain.shape
1

(124, 13)
1

1.1,1 criterion=“entropy”

clf=tree.DecisionTreeClassifier(criterion="entropy")
clf=clf.fit(xtrain,ytrain)
score=clf.score(xtest,ytest)
score
1
2
3
4

0.9259259259259259
1

1.1.2 criterion=“gini”

# 不填默认gini
clf=tree.DecisionTreeClassifier(criterion="gini")
clf=clf.fit(xtrain,ytrain)
score=clf.score(xtest,ytest)
score
1
2
3
4
5

0.9259259259259259
1

1.2 画树

• 使用 tree.export_graphviz

# 列出列项向量名字，便于查看理解结果
import graphviz
feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类酚类','花青素','颜 色强度','色调','od280/od315稀释葡萄酒','脯氨酸']
dot_data=tree.export_graphviz(clf
                               ,out_file=None
                               ,class_names=["琴酒","雪莉","贝尔摩德"]
                               ,filled=True #颜色填充
                               ,rounded=True #圆角
 )
graph=graphviz.Source(dot_data)
graph
1
2
3
4
5
6
7
8
9
10
11

1.3 探索决策树

# 各个特征对决策树的建立影响程度，特征重要性，越大影响程度越大
clf.feature_importances_
1
2

array([0.41133413, 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.38205108, 0.02401924, 0.        , 0.        ,
       0.        , 0.05485876, 0.12773679])
1
2
3

[* zip(feature_name,clf.feature_importances_)]
1

[('酒精', 0.4113341349496296),
 ('苹果酸', 0.0),
 ('灰', 0.0),
 ('灰的碱性', 0.0),
 ('镁', 0.0),
 ('总酚', 0.0),
 ('类黄酮', 0.3820510756901232),
 ('非黄烷类酚类', 0.024019241220117216),
 ('花青素', 0.0),
 ('颜 色强度', 0.0),
 ('色调', 0.0),
 ('od280/od315稀释葡萄酒', 0.05485876081137878),
 ('脯氨酸', 0.12773678732875127)]
1
2
3
4
5
6
7
8
9
10
11
12
13

1.4 random_state & splitte

• random_state用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据 （比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。
• splitter也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会 优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在 分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这 也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能 性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。

clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=30) 
clf = clf.fit(xtrain, ytrain) 
score = clf.score(xtest, ytest) #返回预测的准确度

score

1
2
3
4
5
6

0.9444444444444444
1

dot_data=tree.export_graphviz(clf
                               ,out_file=None
                               ,class_names=["琴酒","雪莉","贝尔摩德"]
                               ,filled=True #颜色填充
                               ,rounded=True #圆角
 )
graph=graphviz.Source(dot_data)
graph
1
2
3
4
5
6
7
8

1.5剪枝

• max_depth
• 限制树的最大深度，超过设定深度的树枝全部剪掉
• min_samples_leaf
• 一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分 枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生
• min_samples_split
• min_samples_split限定，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则 分枝就不会发生。

clf=tree.DecisionTreeClassifier(criterion="gini"
                                ,random_state=32
                                ,max_depth=3
                                ,min_samples_leaf=10
                                ,min_samples_split=10
)
clf = clf.fit(xtrain, ytrain) 
score = clf.score(xtest, ytest) #返回预测的准确度

score

1
2
3
4
5
6
7
8
9
10
11

0.8333333333333334
1

dot_data=tree.export_graphviz(clf
                               ,out_file=None
                               ,class_names=["琴酒","雪莉","贝尔摩德"]
                               ,filled=True #颜色填充
                               ,rounded=True #圆角
 )
graph=graphviz.Source(dot_data)
graph
1
2
3
4
5
6
7
8

clf.score(xtrain,ytrain)
1

0.9435483870967742
1

clf.score(xtest,ytest)
1

0.8333333333333334
1

1.5使用网格调整参数

parameters={
            "splitter":("best","random")
           ,"criterion":("gini","entropy")
           ,"max_depth":[*range(2,6)]
           ,'min_samples_leaf':[*range(1,50,5)] 
           , 'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf=DecisionTreeClassifier(random_state=25)
gs=GridSearchCV(clf,parameters,cv=10)
gs.fit(xtrain,ytrain)
1
2
3
4
5
6
7
8
9
10

GridSearchCV(cv=10, error_score=nan,
             estimator=DecisionTreeClassifier(ccp_alpha=0.0, class_weight=None,
                                              criterion='gini', max_depth=None,
                                              max_features=None,
                                              max_leaf_nodes=None,
                                              min_impurity_decrease=0.0,
                                              min_impurity_split=None,
                                              min_samples_leaf=1,
                                              min_samples_split=2,
                                              min_weight_fraction_leaf=0.0,
                                              presort='deprecated',
                                              random_state=25,
                                              splitter='best'),
             iid='dep...
                                                   0.23684210526315788,
                                                   0.2631578947368421,
                                                   0.2894736842105263,
                                                   0.3157894736842105,
                                                   0.3421052631578947,
                                                   0.3684210526315789,
                                                   0.39473684210526316,
                                                   0.42105263157894735,
                                                   0.4473684210526315,
                                                   0.47368421052631576, 0.5],
                         'min_samples_leaf': [1, 6, 11, 16, 21, 26, 31, 36, 41,
                                              46],
                         'splitter': ('best', 'random')},
             pre_dispatch='2*n_jobs', refit=True, return_train_score=False,
             scoring=None, verbose=0)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

gs.best_params_
1

{'criterion': 'gini',
 'max_depth': 4,
 'min_impurity_decrease': 0.02631578947368421,
 'min_samples_leaf': 1,
 'splitter': 'best'}
1
2
3
4
5

clf=tree.DecisionTreeClassifier(
    criterion="gini"
    ,max_depth=4
    ,min_impurity_decrease=0.02631578947368421
    ,min_samples_leaf=1
    ,splitter='best'
    ,random_state=25
)
clf = clf.fit(xtrain, ytrain) 
score = clf.score(xtest, ytest) #返回预测的准确度

score
1
2
3
4
5
6
7
8
9
10
11
12
13

0.9444444444444444
1

clf.score(xtest,ytest)

1
2

0.9444444444444444
1

dot_data=tree.export_graphviz(clf
                               ,out_file=None
                               ,class_names=["琴酒","雪莉","贝尔摩德"]
                               ,filled=True #颜色填充
                               ,rounded=True #圆角
 )
graph=graphviz.Source(dot_data)
graph
1
2
3
4
5
6
7
8

随机森林（ RandomForestClassifie）

• 随机森林是非常具有代表性的Bagging集成算法，它的所有基评估器都是决策树，分类树组成的森林就叫做随机森 林分类器，回归树所集成的森林就叫做随机森林回归器。

2.1 n_estimators默认为100

• 这是森林中树木的数量，即基评估器的数量。这个参数对随机森林模型的精确性影响是单调的，n_estimators越 大，模型的效果往往越好。但是相应的，任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的 精确性往往不在上升或开始波动

wine=load_wine()
1

rfc=RandomForestClassifier(n_estimators=25)
rfc=cross_val_score(rfc,wine.data,wine.target,cv=10).mean()
1
2

plt.plot(range(1,11),rfc)
1

[<matplotlib.lines.Line2D at 0x11c2f2c3a48>]
1

1

0.9833333333333334
1

rfc
1

0.9833333333333334
1

1

• 菜菜的sklearn学习得到 https://live.bilibili.com/12582510