随机森林（Random Forest）学习笔记

引言

随机森林是一种集成学习算法，通过多个分类方法建模选择出最好的模型方法。

集成学习算法：综合多个评估器（estimator)的建模结果，汇总后得到一个综合的结果，以此来获取比单个模型更好的回归或分类表现。

常见的集成学习算法包含随机森林、梯度提升树（GBDT），Xgboost。

集成算法种类

Bagging:建立多个模型，相互独立地预测，对于预测结果进行平均计算或者多数表决原则来决定集成评估器（ensemble estimator）的结果。典型代表是随机森林。

Boosting：首先用一个模型进行预测，然后对于预测结果错误的样本，在下一个预测模型中会赋予更高的权重去进行预测。核心思想是将多个评估效果弱的模型，不断强化形成一个强大的模型。代表模型又Adaboost和梯度提升树。

集成算法库

RandomForest 建模流程

1. 实例化，建立评估模型对象

2. 通过模型接口训练模型

3. 通过模型接口提取需要的信息

from sklearn.ensemble import RandomForestClassifier 
 
rfc = RandomForestClassifier
rfc = rfc.fit(X_train, y_train)
result = rfc.score(x_test,y_test)

函数原型

class.sklearn.ensemble.RandomForestClassifier(n_estinators=‘10’,criterion=‘gini’,max_depth=None,min_samples_split=2,min_samples_leaf=1,min_weight_fraction_leaf=0.0,max_features=‘auto’,max_leaf_nodes=None,min_impurity_decrease=0.0,min_impurity_split=None,bootstrap=True,oob_score=False,n_jobs=None,random_state=None,verbose=0,warm_start=False,class_weight=None)

参数介绍

绝大多数和决策树（Decision Tree)相同。