机器学习之随机森林算法

随机森林是一种集成学习方法

一、什么是集成学习方法？

集成学习通过建立几个模型组合的方法来解决单一预测问题。他的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类作出的预测。

二、什么是随机森林？

在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。例如，如果你训练了5个树，其中有4个树的结果是True，1个树的结果为False，那么最终的投票结果就是True。

三、随机森原理的过程

两个随机（假设N个样本，M个特征）

1. 训练集随机：从N个样本中随机有放回得抽样N个
   BootStrap（非前端框架）：随机有放回的抽样

2. 特征值随机：从M个特征中随机的抽取m个特征（M >> m）

为什么随机抽样？
答：如果不进行随机抽样，每颗树的训练集都一样，那么最终训练出来的树分类结果也是完全一样的；
为什么有放回抽样？
答：如果不是有放回的抽样，那么每颗树的训练样本是不一样的，都是没有交集的，这样每颗树都是有偏

四、随机森林API

sklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion='gini',max_depth=None,bootstrap=True,random_state=None,min_samples_split=2)
1

- 随机森林分类器
- n_estimators：integer,optional(default=10)森林里的树木数量
- criterion：string,可选(default='gini')分割特征的测量方法
- max_depth：integer或None，可选（默认无）树的最大深度
- max_features='auto' 每个决策树的最大特征数量
	1.if 'auto',then max_feature=sqrt(n_features)
	2.if 'sqrt',then max_features=sqrt(n_features)(same as suto)
	3.if 'log2',then max_features=log2(n_features)
	4.if None,then max_features=n_features
- bootstrap：boolean,optional(default = True)在构建树时是否放回抽样
- min_samples_split：节点划分最少样本树
- min_samples_leaf：叶子节点最小样本数
1
2
3
4
5
6
7
8
9
10
11
12

代码如下所示（加入了超参数搜索）：

import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.ensemble import RandomForestClassifier

def titanic_demo():
    # 1）、获取数据
    titanic = pd.read_csv("/Users/dengzhao/Desktop/数据集/titanic/train.csv")
    # 2）、筛选特征值和目标值
    x = titanic[["Pclass","Age","Sex"]]
    y = titanic["Survived"]
    # 3）、缺失值处理
    x["Age"].fillna(x["Age"].mean(),inplace=True)
    # 4、转换成字典
    x = x.to_dict(orient="records")
    # 5）、数据集的划分
    x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=22)# random_state随机数种子
    # 6）、字典特征抽取
    transfer = DictVectorizer()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    # 7）、转换器
    estimator = RandomForestClassifier()
    # 8）、模型评价
    # 加如网格搜索和交叉验证
    # 参数准备
    param_dic = {"n_estimators": [120,200,300,500,800,1200],'max_depth':[5,8,10,12,14]}
    estimator = GridSearchCV(estimator, param_grid=param_dic, cv=3)
    estimator.fit(x_train, y_train)
    # 5）模型评估
    """评估方法1：直接比对真实值和预测值"""
    y_predict = estimator.predict(x_test)
    print("y_predict:\n", y_predict)
    print("直接比对真实值和预测值:\n", y_test == y_predict)
    """评估方法2：计算准确率"""
    score = estimator.score(x_test, y_test)  # 相当于计算了预估器的准确率，因为这里本来是完全一致的
    print("准确率：\n", score)
    # 最佳参数：best_params_
    print("最佳参数\n", estimator.best_params_)
    # 最佳结果：best_score_
    print("最佳结果\n", estimator.best_score_)
    # 最佳估计器：best_estimator_
    print("最佳估计器\n", estimator.best_estimator_)
    # 交叉验证结果：cv_results_
    print("交叉验证结果\n", estimator.cv_results_)
    return

if __name__ == '__main__':
    titanic_demo()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

结果如下：
准确率：
0.7623318385650224
最佳参数
{‘max_depth’: 5, ‘n_estimators’: 120}
最佳结果
0.8174093375887098
最佳估计器
RandomForestClassifier(max_depth=5, n_estimators=120)

五、总结

• 在KNN，决策树等算法中，具有极好的准确率
• 能够有效地运行在大数据集上，处理具有高维特征的输入样本，而且不需要降维
• 能够评估各个特征在分类问题上的重要性