赞
踩
决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法
信息熵的概念
案例:每猜一次给一块钱,告诉我是否猜对了,那么我需要掏多少钱才能知道谁是冠军?
我可以把球编上号,从1到32,然后提问:冠 军在1-16号吗?依次询问,只需要五次,
就可以知道结果。
该案例中信息熵为:
H = -(p1logp1 + p2logp2 + … + p32log32)
信息和消除不确定性是相联系的,即信息熵越大,不确定性越大
H的专业术语称之为信息熵,单位为比特。
公式:
决策树的分类依据之一:信息增益
注:信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D
的信息条件熵H(D|A)之差,即公式为:
信息增益计算
ID3
信息增益 最大的准则
C4.5
信息增益比 最大的准则
CART
回归树: 平方误差 最小
分类树: 基尼系数 ,划分更加仔细 最小的准则 在sklearn中可以选择划分的原则
# 决策树分类器
class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,
random_state=None)
# 参数介绍
criterion:默认是’gini’系数,也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子
# 方法
decision_path:返回决策树
泰坦尼克号乘客生存分类模型流程:
决策树的结构、本地保存:
# 决策树对泰坦尼克号乘客生存进行分类 import pandas as pd from sklearn.feature_extraction import DictVectorizer from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier, export_graphviz def decision(): '''泰坦尼克号乘客生存分析 :return''' # 一、pd读取数据 titanic = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # 二、处理数据 # 1.取出特征值与目标值 x = titanic[['pclass', 'age', 'sex']] y = titanic['survived'] # 2.处理缺失值 x['age'].fillna(x['age'].mean(), inplace= True) # 3.分割数据集到训练集与测试集 x_train, x_test, y_train, y_test = train_test_split(x, y ,test_size=0.25) # 三、进行特征工程 # 1.特征抽取 # 将有类别特征的数据转换成字典数据,x_train.to_dict(orient = 'records') # 然后再把字典中一些类别数据,分别转换成特征(one-hot编码) dict = DictVectorizer(sparse= False) x_train = dict.fit_transform(x_train.to_dict(orient = 'records')) # transform按照原先标准转换 x_test = dict.transform(x_test.to_dict(orient = 'records')) # 返回类别数据 print(dict.get_feature_names()) print(x_train) # 四、决策树估计器流程 dec = DecisionTreeClassifier() dec.fit(x_train, y_train) # 得到预测结果 print('预测结果为:\n',dec.predict(x_test)) # 预测准确率 print('预测准确率为:\n',dec.score(x_test, y_test)) # 导出决策树的结构 export_graphviz(dec, out_file='./tree.dot', feature_names=['年龄', '一等', '二等', '三等', '女', '男']) return None if __name__ == '__main__': decision() # ['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male'] # [[ 9. 0. 0. 1. 0. 1. ] # [31.19418104 1. 0. 0. 0. 1. ] # [59. 1. 0. 0. 1. 0. ] # ... # [21. 0. 0. 1. 0. 1. ] # [31.19418104 0. 0. 1. 1. 0. ] # [31.19418104 0. 0. 1. 0. 1. ]] # 预测结果为: # [0 0 0 0 0 0 0 1 1 1 0 0 0 1 0 1 0 0 0 0 1 0 1 0 0 0 1 0 0 0 0 0 1 1 1 0 0 # 1 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 1 1 1 1 0 0 0 0 # 0 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 1 1 0 0 1 0 0 1 0 0 0 0 0 1 0 0 1 0 0 0 # 0 1 0 0 0 0 0 0 0 0 0 1 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 1 0 0 0 1 1 0 # 0 0 0 1 0 0 0 0 0 1 0 0 1 0 1 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 # 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 1 0 0 0 0 0 0 1 0 1 0 1 1 1 0 0 0 0 0 # 0 0 0 1 1 0 0 1 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 1 0 # 0 0 1 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 # 0 0 1 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 1 0 0 0 0 0] # 预测准确率为: # 0.7963525835866262
决策树的结构、本地保存
注:企业重要决策,由于决策树很好得分析能力,在决策过程应用较多
优点:
1.简单的理解和解释,树木可视化。
2 。需要很少的数据准备,其他技术通常需要数据归一化,
缺点:
1.决策树学习者可以创建不能很好地推广数据的过于复杂的树,这被称为过拟合。
2.决策树可能不稳定,因为数据的小变化可能会导致完全不同的树被生成
** **:
集成学习方法:
集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型,
各自独立地学习和作出预测。这些预测最后结合成单预测,因此优于任何一个单分类的做出预测。
什么是随机森林?
定义:在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。
学习算法
根据下列算法而建造每棵树:
用N来表示训练用例(样本)的个数,M表示特征数目。
为什么要随机抽样训练集?
如果不进行随机抽样,每棵树的训练集都一样,那么最终训练出的树分类结果也是完全一样的
为什么要有放回地抽样?
如果不是有放回的抽样,那么每棵树的训练样本都是不同的,都是没有交集的,这样每棵树都是“有偏的”,都是绝对“片面的”(当然这样说可能不对),也就是说每棵树训练出来都是有很大的差异的;而随机森林最后分类取决于多棵树(弱分类器)的投票表决。
# 随机森林分类器
#ensemble集成学
class sklearn.ensemble.RandomForestClassifier(n_estimators=10,
criterion=’gini’,max_depth=None, bootstrap=True, random_state=None)
# 参数
n_estimators:integer,optional(default = 10) 森林里的树木数量
criteria:string,可选(default =“gini”)分割特征的测量方法
max_depth:integer或None,可选(默认=无)树的最大深度
bootstrap:boolean,optional(default = True)是否在构建树时使用放回抽样
max_features = "auto",每个决策树的最大特征数量
超参数:n_estimators:决策树的数量100,200,300,500,800,1200
max_depth:每棵树的深度限制5,8,15,25,30
# 随机森林调优-泰坦尼克号乘客生存分析 import pandas as pd from sklearn.model_selection import train_test_split from sklearn.feature_extraction import DictVectorizer from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import GridSearchCV def forest(): ''' 随机森林模型选择与调优 :return: ''' # 一.读取数据 titanic = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt") # 二、处理数据 # 1.提取特征值与目标值 x = titanic[['pclass','age','sex']] y = titanic['survived'] # 2.处理age中的缺失值 x['age'].fillna(x['age'].mean(),inplace=True) # 3.分割数据集 训练集与测试集、 x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.25) # 三、进行特征工程 # 特征抽取 # 将特征值的类别特征数据转换成字典数据 # 再将类别数据转换成one-hot编码 dict = DictVectorizer(sparse=False) x_train = dict.fit_transform(x_train.to_dict(orient='records')) x_test = dict.transform(x_test.to_dict(orient='records')) # 返回类别数据 print(dict.get_feature_names()) print(x_train) # 四、随机森林-模型的选择与调优 # 1.构造实例 rf = RandomForestClassifier() # 2.交叉验证与网格搜索 param = {'n_estimators':[100,200,300,500,800,1200],'max_depth':[5,8,15,25,30 ]} gc = GridSearchCV(rf,param_grid=param,cv=5) gc.fit(x_train,y_train) # 准确率 print('准确率是:\n',gc.score(x_test,y_test)) # 在交叉验证中最好的结果 print('交叉验证中最好的结果是:\n',gc.best_score_) # 最好的参数模型 print('最好的参数模型:\n',gc.best_estimator_) # 查看选择的参数模型 print('查看选择的参数模型:\n',gc.best_params_) if __name__ == '__main__': forest() # ['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male'] # [[53. 0. 1. 0. 1. 0. ] # [31.19418104 0. 0. 1. 0. 1. ] # [31.19418104 0. 0. 1. 0. 1. ] # ... # [31.19418104 1. 0. 0. 1. 0. ] # [31.19418104 0. 0. 1. 0. 1. ] # [25. 1. 0. 0. 0. 1. ]] # 准确率是: # 0.8267477203647416 # 交叉验证中最好的结果是: # 0.8201219512195121 # 最好的参数模型: # RandomForestClassifier(bootstrap=True, class_weight=None, criterion='gini', # max_depth=5, max_features='auto', max_leaf_nodes=None, # min_impurity_decrease=0.0, min_impurity_split=None, # min_samples_leaf=1, min_samples_split=2, # min_weight_fraction_leaf=0.0, n_estimators=800, n_jobs=None, # oob_score=False, random_state=None, verbose=0, # warm_start=False) # 查看选择的参数模型: # {'max_depth': 5, 'n_estimators': 800}
随机森林的优点:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。