当前位置:   article > 正文

AI-统计学习(7)-决策树模型-“概念表格”到”树”再到”数学表达式”-全过程详解_决策表转变决策树

决策表转变决策树

决策树是种可视化的模型,可做分类也可做回归。

比如我知道一组人的信息:年龄、是否有工作、是否有房贷…这叫特征值,现在再来一些人,这时我想能否贷款给他。我该怎么做呢,就可以用决策树模型实现。左边是数据,右边是树。当然这棵树没有把全部的特征向量放进去只是示意了一下。

 

    

图1

   2那如何建树。其实就是如何选择根结点、内部结点、叶节点、判别生成子结点。 换句话说就是如何选择特征、如何避免过拟合。

3.特征值选择 三个指标

     3.1

     3.2信息增益

     3.3信息增益比

4.根据这三个特征值指标的选取原则 形成ID3算法和C4.5算法 算法与步骤。

5.剪枝,防止过拟合。分先剪枝和后剪枝。算法与步骤。

 6.CART算法 针对二叉树 基尼系数


概念是要变成符号和数学表达式才会被计算机理解的,下面就是各种转换和数学算法的表述。

2根结点、内部结点、叶节点、判别生成子结点。

             

              

3.特征值选择 三个指标

      我建树,选年龄、有工作、还是有房子做结点?哪个是根结点,哪个子节点,我怎么选呢?三个评价指标。

  3.1

      

示例:

       

 

3.2信息增益

          

图1的示例

           

            

               但这样选是有缺点的,所以引出了下面信息增益比的概念。

3.3信息增益比

               

4.根据这三个指标形成的ID3算法和C4.5算法

4.1ID3算法 特征选择 两种准则,ID3是信息增益,C4.5是信息增益比。步骤一样

   书上的文字:

  

我的理解:

  输入:D A,阈值

  输出:树T

  步骤:1.同一类

        2.无分类

        3.信息增益计算

         4.信息增益计算<阈值

         5.分割子集

          6.递归调用1-5

5.剪枝,防止过拟合。分先剪枝和后剪枝。

    

  后剪枝算法步骤:

6.CART算法 针对二叉树 基尼系

      

       

 

总结:看懂这些示例后应该可以把“概念表格转换成”再转换成”数学表达式了。有了数学表达式,就可以写代码了实现了。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/2023面试高手/article/detail/330771
推荐阅读
相关标签
  

闽ICP备14008679号