赞
踩
决策树是种可视化的模型,可做分类也可做回归。
比如我知道一组人的信息:年龄、是否有工作、是否有房贷…这叫特征值,现在再来一些人,这时我想能否贷款给他。我该怎么做呢,就可以用决策树模型实现。左边是数据,右边是树。当然这棵树没有把全部的特征向量放进去只是示意了一下。
图1
2那如何建树。其实就是如何选择根结点、内部结点、叶节点、判别生成子结点。 换句话说就是如何选择特征、如何避免过拟合。
3.特征值选择 三个指标
3.1熵
3.2信息增益
3.3信息增益比
4.根据这三个特征值指标的选取原则 形成ID3算法和C4.5算法 算法与步骤。
5.剪枝,防止过拟合。分先剪枝和后剪枝。算法与步骤。
6.CART算法 针对二叉树 基尼系数
概念是要变成符号和数学表达式才会被计算机理解的,下面就是各种转换和数学算法的表述。
2根结点、内部结点、叶节点、判别生成子结点。
3.特征值选择 三个指标
我建树,选年龄、有工作、还是有房子做结点?哪个是根结点,哪个子节点,我怎么选呢?三个评价指标。
3.1熵
示例:
3.2信息增益
图1的示例
但这样选是有缺点的,所以引出了下面信息增益比的概念。
3.3信息增益比
4.根据这三个指标形成的ID3算法和C4.5算法
4.1ID3算法 特征选择 两种准则,ID3是信息增益,C4.5是信息增益比。步骤一样
书上的文字:
我的理解:
输入:D A,阈值
输出:树T
步骤:1.同一类
2.无分类
3.信息增益计算
4.信息增益计算<阈值
5.分割子集
6.递归调用1-5
5.剪枝,防止过拟合。分先剪枝和后剪枝。
后剪枝算法步骤:
6.CART算法 针对二叉树 基尼系
总结:看懂这些示例后应该可以把“概念表格’转换成”树”再转换成”数学表达式”了。有了数学表达式,就可以写代码了实现了。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。