当前位置:   article > 正文

【机器学习】随机森林预测并可视化特征重要性_随机森林可视化

随机森林可视化

         今天需要用到特征重要性的分析,所以干脆就写一下使用随机森林是如何做建模并基于随机森林做特征重要性的分析。顺带给出了编码方式、随机森林、特征重要性可视化的完整Python代码,都是可以直接运行的。

目  录

1  分类型特征编码

1.1  LabelEncoder编码

 1.2  独热编码(One-Hot Encoding)

2  随机森林回归模型

2.1  随机森林回归模型建立

2.2  模型评价指标

3  基于随机森林的特征重要性可视化


实验环境:

        Window 10

        PyCharm 2021.2.2(Community Edition)

实验说明:

        data:数据集(我的数据包含27个特征,1个目标变量)

 !!!数据集是预处理过后数据,其中的分类型特征已被编码。若数据集未编码,可以使用以下方式对分类型特征编码!!!

1  分类型特征编码

1.1  LabelEncoder编码

        LabelEncoder编码会将分类型特征按照1、2、3、4...的方式编码

  1. # 导入LabelEncoder包
  2. from sklearn.preprocessing import LabelEncoder
  3. # 选出分类型特征
  4. bool_features = ['有阳台', '有厨房', '有地窖', '有电梯', '有花园', '是新建筑', '上传日期', '可带宠物']
  5. for i in bool_features:
  6. le = LabelEncoder()
  7. le = le.fit(data[i])
  8. data[i] = le.transform(data[i])
  9. #data[i] = LabelEncoder().fit_transform(train[i])
  10. print(f'{i}处理成功~')

 1.2  独热编码(One-Hot Encoding)

        独热编码会将分类型数据按照(1,0,0)、(0,1,0)、(0,0,1)的方式编码,这种编码方式会扩增特征维数,具体来说,假设你的“可带宠物”包含3类,那么独热编码后就会使得该特征变为3列

  1. from sklearn.preprocessing import OneHotEncoder
  2. # 创建OneHotEncoder对象
  3. encoder = OneHotEncoder(categories='auto', sparse=False)
  4. # 对需要进行One-Hot编码的特征进行编码
  5. encoded_data = encoder.fit_transform(data[bool_features])
  6. # 获取编码后特征的名称并根据原始特征的取值进行命名
  7. feature_names = []
  8. for feature, categories in zip(bool_features, encoder.categories_):
  9. for category in categories:
  10. feature_names.append(f"{feature}_{category}")
  11. # 将编码后的特征转化为DataFrame,并使用新的特征名称进行命名
  12. encoded_data = pd.DataFrame(encoded_data, columns=feature_names)
  13. # 将编码后的特征替换原始数据集中的特征
  14. data.drop(bool_features, axis=1, inplace=True)
  15. train = pd.concat([data, pd.DataFrame(encoded_data)], axis=1)

上述代码会删掉编码前的特征列,并在最后加入编码后的特征列 


随机森林回归模型

2.1  随机森林回归模型建立

变量解释:
        y_test:验证集的真实值,Series类型

        y_test_t:验证集的真实集,ndarray类型

        y_pred:验证集的预测值,ndarray类型

  1. # 导入必要的库
  2. from sklearn.ensemble import RandomForestRegressor
  3. from sklearn.model_selection import train_test_split
  4. import pandas as pd
  5. import numpy as np
  6. # 用于保存和提取模型
  7. import joblib
  8. import matplotlib.pyplot as plt # 绘图库
  9. # 解决画图中文字体显示的问题
  10. plt.rcParams['font.sans-serif'] = ['KaiTi', 'SimHei', 'Times New Roman'] # 汉字字体集
  11. plt.rcParams['font.size'] = 12 # 字体大小
  12. plt.rcParams['axes.unicode_minus'] = False
  13. # 忽略警告
  14. import warnings
  15. warnings.filterwarnings('ignore')
  16. # 读取数据集
  17. data = pd.read_csv('./data.csv', encoding='gbk')
  18. # 特征
  19. X = data.drop('房屋租金', axis=1)
  20. # 目标变量
  21. y = data['房屋租金']
  22. # 数据集拆分出训练集和验证集
  23. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2023)
  24. # 定义一个默认随机森林回归模型
  25. RF = RandomForestRegressor(n_jobs=-1)
  26. # 训练模型
  27. RF.fit(X_train, y_train)
  28. # 保存模型
  29. joblib.dump(RF, r'./RF.pkl')
  30. # 读取模型
  31. RF = joblib.load(r'./RF.pkl')
  32. # 模型预测
  33. y_pred = RF.predict(X_test)
  34. # 绘制线图
  35. # 前200条预测结果的可视化
  36. plt.figure(figsize=(20, 6))
  37. y_tesy_t = np.asarray(y_test)
  38. plt.plot(y_tesy_t[:200], label='True Values')
  39. plt.plot(y_pred[:200], label='Predicted Values')
  40. plt.xlabel('Index')
  41. plt.ylabel('Value')
  42. plt.legend()
  43. plt.savefig('./前200条预测结果图.jpg', dpi=400, bbox_inches='tight')
  44. plt.show()

使用模型预测验证集,得到前200条数据的可视化结果如下:

可以看到模型的预测结果和验证集的真实值还是非常接近的 。

(当然这里是预测验证集,所以是会有True Values的。通常来说测试集的标签值我们是不知道的,所以对于测试集而言我们只能做预测,没办法做对比,也就是只能画出图上的Predicted Values那一条线)

2.2  模型评价指标

对于机器学习中的回归模型,我们一般使用但不局限于以下4个指标:

  • 均方误差、均方根误差、平均绝对误差:误差当然是越小说明模型拟合的效果越好
  • R^{2}:拟合优度,通常情况下取值在0~1之间,越接近1说明模型的效果越好,越接近0模型越差。
  • R^{2}取值也是可以为负数的,这时候说明使用平均值来当预测值的效果都比模型的预测好,意思就是模型的效果非常垃圾,大概是废了。
  1. import numpy as np
  2. from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
  3. # 模型评估
  4. # 计算均方误差(MSE)
  5. mse = mean_squared_error(y_test, y_pred)
  6. print("均方误差(MSE):", mse)
  7. # 计算均方根误差(RMSE)
  8. rmse = np.sqrt(mse)
  9. print("均方根误差(RMSE):", rmse)
  10. # 计算平均绝对误差(MAE)
  11. mae = mean_absolute_error(y_test, y_pred)
  12. print("平均绝对误差(MAE):", mae)
  13. # 计算决定系数(R²)
  14. r2 = r2_score(y_test, y_pred)
  15. print("决定系数(R²):", r2)

随机森林回归模型的评价指标结果:

均方误差(MSE):0.04583461034583555
均方根误差(RMSE):0.2140901920822987
平均绝对误差(MAE):0.14870750835532767
决定系数(R^{2}):0.8649912651874802

 我们以MAE和R^{2}作为评价指标。可以看出来平均绝对误差0.14,这说明预测值和真实值的平均误差在\pm0.14左右,预测效果良好。决定系数的值为0.865,说明模型的性能还是很好的。


3  基于随机森林的特征重要性可视化

使用解释:

  1. feature_importances_df:这个变量就是特征的重要性得分
  2. 特征重要性一般是为了筛选出对目标变量影响较大的因素,所以使用到的数据集是整个数据集,而不是拆分出来的训练集。(可用于影响因素那部分的研究中)
  3. 下面代码中一些注释可以根据自己需要解开,使用到的中文字体为宋体,数字字体是Time New Roman
  1. # 导入必要的库
  2. from sklearn.ensemble import RandomForestRegressor
  3. import pandas as pd
  4. import numpy as np
  5. import matplotlib.pyplot as plt # 绘图库
  6. # 解决画图中文字体显示的问题
  7. plt.rcParams['font.sans-serif'] = ['SimSun', 'Times New Roman'] # 汉字字体集
  8. plt.rcParams['font.size'] = 10 # 字体大小
  9. plt.rcParams['axes.unicode_minus'] = False
  10. # 忽略警告
  11. import warnings
  12. warnings.filterwarnings('ignore')
  13. # 读取数据集
  14. data = pd.read_csv('./数据集.csv', encoding='gbk')
  15. # Split data into features and target
  16. X = data.drop('房屋租金', axis=1)
  17. y = data['房屋租金']
  18. # 定义一个随机森林回归模型
  19. RF = RandomForestRegressor(n_jobs=-1)
  20. # 训练模型
  21. RF.fit(X, y)
  22. # 获取特征重要性得分
  23. feature_importances = RF.feature_importances_
  24. # 创建特征名列表
  25. feature_names = list(X.columns)
  26. # 创建一个DataFrame,包含特征名和其重要性得分
  27. feature_importances_df = pd.DataFrame({'feature': feature_names, 'importance': feature_importances})
  28. # 对特征重要性得分进行排序
  29. feature_importances_df = feature_importances_df.sort_values('importance', ascending=False)
  30. # 颜色映射
  31. colors = plt.cm.viridis(np.linspace(0, 1, len(feature_names)))
  32. # 可视化特征重要性
  33. fig, ax = plt.subplots(figsize=(10, 6))
  34. ax.barh(feature_importances_df['feature'], feature_importances_df['importance'], color=colors)
  35. ax.invert_yaxis() # 翻转y轴,使得最大的特征在最上面
  36. ax.set_xlabel('特征重要性', fontsize=12) # 图形的x标签
  37. ax.set_title('随机森林特征重要性可视化',fontsize=16)
  38. for i, v in enumerate(feature_importances_df['importance']):
  39. ax.text(v + 0.01, i, str(round(v, 3)), va='center', fontname='Times New Roman', fontsize=10)
  40. # # 设置图形样式
  41. # plt.style.use('default')
  42. ax.spines['top'].set_visible(False) # 去掉上边框
  43. ax.spines['right'].set_visible(False) # 去掉右边框
  44. # ax.spines['left'].set_linewidth(0.5)#左边框粗细
  45. # ax.spines['bottom'].set_linewidth(0.5)#下边框粗细
  46. # ax.tick_params(width=0.5)
  47. # ax.set_facecolor('white')#背景色为白色
  48. # ax.grid(False)#关闭内部网格线
  49. # 保存图形
  50. plt.savefig('./特征重要性.jpg', dpi=400, bbox_inches='tight')
  51. plt.show()

我认为这个可视化还是非常美观的,从布局以及配色的过渡上都是很符合学术规范的^_^

特征重要性可视化结果:

图示说明对于目标变量房屋租金而言,影响较大的是居住面积>价格趋势>服务费>区域2。这表明在房屋租金的定价中,大的面积、上升的房价趋势、更高的服务费缴纳、地处更发达的市区会使得房屋租金更高,房东可以制定更高的租金!

就想到这里啦!等小白后面想到什么再补充吧! 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/97639?site
推荐阅读
相关标签
  

闽ICP备14008679号