当前位置:   article > 正文

机器学习——随机森林(Random forest)

随机森林

相关文章链接:

        机器学习——人工神经网络(NN)

        机器学习——卷积神经网络(CNN)

        机器学习——循环神经网络(RNN)

        机器学习——长短期记忆(LSTM)

        机器学习——决策树(decision tree)

        机器学习——梯度提升决策树(GBDT)

        机器学习——XGboost模型

一、集成思想

两大流派:

  1. Boosting一族通过将弱学习器提升为强学习器的集成方法来提高预测精度(典型算法:AdaBoost),GBDT也是Boosting的成员。
  2. Bagging,即通过自助采用的方法生成众多并行式的分类器,通过“少数服从多数”的原则来确定最终的结果(典型算法:随机森林)

二、随机森林定义

随机森林就是通过集成学习的思想将多棵树集成的一种算法,它的基本单元是决策树,而它的本质属于机器学习的一大分支——集成学习(Ensemble Learning)方法。随机森林解决了决策树泛化能力弱的缺点,随机森林的名称中有两个关键词,一个是“随机”,一个就是“森林”。

随机是指随机选择样本,随机选择特征。即每一棵树是从整个训练样本集当中选取固定数量的样本集,然后选取固定数量的特征集,从而构建随机森林中的每一棵决策树。

森林是指模型中包含了很多棵决策树。

从直观角度来解释,每棵决策树都是一个分类器(假设现在针对的是分类问题),那么对于一个输入样本,N棵树会有N个分类结果。而随机森林集成了所有的分类投票结果,将投票次数最多的类别指定为最终的输出,这就是一种最简单的Bagging思想。

 随机森林

三、熵

熵越大即这个类别的不确定性更大,反之越小,当随机变量的取值为两个时,熵随概率的变化曲线如下图:

 当p=0或p=1时,H(p)=0,随机变量完全没有不确定性,当p=0.5时,H(p)=1,此时随机变量的不确定性最大

四、条件熵

条件熵是用来解释信息增益而引入的概念,概率定义:随机变量X在给定条件下随机变量Y的条件熵,对定义描述为:X给定条件下Y的条件干率分布的熵对X的数学期望,在机器学习中为选定某个特征后的熵,公式如下:

p(xi)指是当xi发生时的概率

五、信息增益

信息增益在决策树算法中是用来选择特征的指标,信息增益越大,则这个特征的选择性越好,在概率中定义为:待分类的集合的熵和选定某个特征的条件熵之差

六、随机森林的生成

1、预设模型的超参数。几棵树?分几层?

2、如果每个样本的特征维度为M,指定一个常数m<<M,随机地从M个特征中选取m个特征子集,每次树进行分裂时,从这m个特征中选择最优的

                DATASTET [N*D] => data subset [n*d]

                        N,n表示样本数量  N>>n

                        D,d表示特征数量  D>>d

3、输入待测样本到每个树中,再将每个数的结果整合。

                Regression问题求均值

                Classification问题求众数

七、随机森林的优缺点

优点:

  1. 在当前所有算法中,具有极好的准确率;
  2. 能够有效地运行在大数据集上;
  3. 能够处理具有高维特征的输入样本,而且不需要降维;
  4. 能够评估各个特征在分类问题上的重要性;
  5. 在生成过程中,能够获取到内部生成误差的一种无偏估计;
  6. 对于缺省值问题也能够获得很好得结果

缺点:

    1、模型往往过于General,不具备正确处理过于困难的样本的能力。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/97688
推荐阅读
相关标签
  

闽ICP备14008679号