分类算法——决策树（五）

认识决策树

决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。

决策树分类原理详解

为了更好理解决策树具体怎么分类的，通过一个问题例子：

问题：如何对这些客户进行分类预测？如何划分？
有可能划分是这样的：

已知有四个特征值，预测是否贷款给某个人：
①类：先看房子，再工作–> 是否贷款——只看了两个特征
②类：年龄，信贷情况，工作——看了三个特征

1原理

• 信息熵、信息增益等

需要用到信息论的知识！！！问题：通过例子引入信息熵

2信息熵的定义

• H的专业术语称之为信息熵，单位为比特。

3决策树的划分依据之-------信息增益

香农：消除随机不定性的东西
小明，年龄“我今年18岁”——信息
小华 “小明明年19岁”——不是信息

• 定义与公式

特征A对训练数据集D的信息增益 g(D,A)，定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵 H(D|A) 之差，即公式为：

• 公式的详细解释：
  
  

注：信息增益表示得知特征X的信息而息的不确定性减少的程度使得类Y的信息熵减少的程度

• 我们以年龄特征来计算：

1、g(D,年龄)=H(D)-H(D|年龄)=0.971-[5/15H(青年)+5/15H(中年)+5/15H(老年)]
2、H(D)=-(6/15log(6/15)+9/15log(9/15))=0.971
3、H(青年)=-(3/5log(3/5)+2/5log(2/5))
H(中年)=-(3/5log(3/5)+2/5log(2/5))
H(老年)=-(4/5log(4/5)+1/5log(1/5))
1
2
3
4
5

我们以A1、A2、A3、A4代表年龄、有工作、有自己的房子和贷款情况。最终计算的结果g(D，A1)=0.313，g(D，A2)=0.324，g(D，A3)=0.420，g(D，A4)=0.363。所以我们选择A3作为划分的第一个特征。这样我们就可以一棵树慢慢建立。

4决策树的划分依据之-------信息增益
当然决策树的原理不止信息增益这一种，还有其他方法。但是原理都类似。

• ID3
  • 信息增益 最大的准则
• C4.5
  • 信息增益比 最大的准则
• CART
  • 分类树：基尼系数 最小的准则（在sklearn中可以选择划分的默认原则）
  • 优势：划分更加细致（从后面例子的树显示来理解）

决策树API

• class sklearn.tree.DecisionTreeClassifier(criterion='gini’，max_depth=None，random_state=None)
  • 决策树分类器
  • criterion：默认是’gini’系数，也可以选择信息增益的熵’entropy
  • max_depth：树的深度大小
  • random_state：随机数种子

1用决策树对鸢尾花进行分类


决策树的结构是可以直接显示的，所以

决策树可视化

1保存树的结构到dot文件

• sklearn.tree.export_graphviz() 该函数能够导出DOT格式
  • tree.export_graphviz(estimator,out_file=‘tree.dot’,feature_names=[“,”])

//可视化决策树
export_graphviz(estimator,out_file="iris_tree.dot",feature_names=iris.feature_names
1
2

运行后生成：

复制到webgraphviz.com网页中：

决策树总结

• 优点：
  • 简单的理解和解释，树有可视化
• 缺点：
  • 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合
• 改进：
  • 减枝cart算法（决策树API当中已经实现，随机森林参数调优有相关介绍）
  • 随机森林

注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多，可以选择特征

总结

• 信息熵、信息增益的计算
• DecisionTreeClassifier进行决策树的划分
• export_graphviz导出到dot文件