赞
踩
前段时间在做遥感的定量反演,所以研究了一下回归算法,由于之前发的几篇博文都是定义好基础方程进行拟合的,不太满足我的需求。所以研究了一下随机森林回归的算法,之前使用随机森林都是做分类,这次做了回归算法也算是补全了RF算法的空缺了。今天抽空给大家分享一下使用Python实现随机森林回归算法,同时将特征重要性和拟合结果进行可视化。
原创作者:RS迷途小书童
- import numpy as np
- import pandas as pd
- import matplotlib.pyplot as plt
- from sklearn.ensemble import RandomForestRegressor
- from sklearn.model_selection import train_test_split
- from sklearn.metrics import mean_squared_error, r2_score
这里其实还是调用sklearn里面的随机森林回归算法的函数,所以整体没什么难度,最后将结果使用matplotlib库进行绘制。
- # -*- coding: utf-8 -*-
- """
- @Time : 2023/4/2 11:31
- @Auth : RS迷途小书童
- @File :Random Forest Regression.py
- @IDE :PyCharm
- @Purpose:随机森林回归算法+特征重要性评估
- @Web:博客地址:https://blog.csdn.net/m0_56729804
- """
- import joblib
- import numpy as np
- import pandas as pd
- import matplotlib.pyplot as plt
- from sklearn.ensemble import RandomForestRegressor
- from sklearn.model_selection import train_test_split
- from sklearn.metrics import mean_squared_error, r2_score
- plt.rcParams['axes.unicode_minus'] = False
- plt.rcParams['font.sans-serif'] = ['Microsoft YaHei']
-
-
- def RF_Regression(path_excel):
- print("-----------------------------------随机森林回归分析-----------------------------------")
- print("【数据准备】正在导入数据......")
- df = pd.read_excel(path_excel) # 读取数据
- num_columns = df.shape[1]
- x = df.iloc[:, 0:num_columns-1] # 读取前18列为自变量
- y = df.iloc[:, num_columns-1] # 读取第19列为因变量
- print("【数据准备】正在分割训练集和测试集......")
- x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.3) # 以7:3划分训练样本和测试样本
- model = RandomForestRegressor(n_estimators=100, random_state=42) # 创建模型
- # {'max_depth': None, 'max_features': 'log2', 'min_samples_leaf': 4, 'min_samples_split': 10, 'n_estimators': 200}
- print("【模型分析】正在训练回归模型......")
- model.fit(x_train, y_train) # 以训练样本训练模型
- print("【模型分析】正在验证模型精度......")
- y_predict = model.predict(x_test) # 用验证集预测
- mse = mean_squared_error(y_test, y_predict)
- r2 = r2_score(y_test, y_predict)
- # 计算MSE和R-squared
- print('【评估参数】MSE:', mse) # 线性回归的损失函数
- print('【评估参数】R-squared:', r2) # 确定系数的取值范围为[0 1].越接近1,表明方程的变量对y的解释能力越强,这个模型对数据拟合的也较好
- print("【模型参数】特征重要性:")
- feature_importance = model.feature_importances_ # 特征的重要性分数
- for i, feature in enumerate(x.columns):
- print(" {}: {}\n".format(feature, feature_importance[i]), end='')
- print("【结果可视化】正在绘制特征重要性......")
- feature_names = x.columns.tolist() # 获取特征的名称
- feature_importance_sort = feature_importance.argsort() # 按照特征重要性从小到大排序的索引
- plt.subplots(figsize=(8, 6))
- plt.barh(range(len(feature_importance)), feature_importance[feature_importance_sort]) # 绘制一个水平条形图
- plt.yticks(range(len(feature_importance)), [feature_names[i] for i in feature_importance_sort], fontsize=8)
- # 设置了y轴的刻度标签。根据排序后的索引feature_ids获取对应的特征名称。font size=8设置字体大小
- plt.xlabel('Features Importance')
- plt.ylabel('Features Name')
- plt.title('Random Forest Regression Feature Importance Evaluation')
- plt.show()
- # plt.savefig('Random Forest Regression Feature Importance Evaluation', dpi=500)
- print("【结果可视化】正在精度曲线......")
- plt.subplots(figsize=(8, 6))
- plt.scatter(y_predict, y_test, alpha=0.6)
- w = np.linspace(min(y_predict), max(y_predict), 100)
- plt.plot(w, w)
- plt.xlabel('Predicted Value')
- plt.ylabel('Actual Value')
- plt.title('Random Forest Prediction')
- plt.show()
- # joblib.dump(model, 'model_RF.pkl')
随机森林算法做分类和回归问题还是不错的,只不过有个缺点就是无法直接将拟合的方程展示出来,只能直接将预测结果输出。所以大家在使用时可以将训练的模型保存,这样后面分析数据的时候就又可以调用这个模型了,不然每次分析都需要将训练和预测放在一起。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。