devbox
Cpp五条
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

数据分析 | 特征重要性分析 | 树模型、SHAP值法

作者：Cpp五条 | 2024-03-22 05:21:58

赞

踩

特征重要性分析

前言

        在分析特征重要性的时候，相关性分析和主成分分析往往是比较简单的方法，相关性分析是通过计算特征与目标变量之间的相关系数来评估特征的重要性。它可以告诉我们特征和目标变量之间的线性关系程度，但对于非线性关系就无能为力了；主成分分析是一种降维技术，用于将高维特征数据转化为少数几个主成分。它可以帮助我们理解数据的主要变化模式，但却无法给出具体每个特征对目标变量的影响程度。

        本文基于集成学习的方法介绍另外两种可以分析特征重要性的方法：树模型、SHAP值法。

数据集

        本文使用的数据集为房价数据集，一共有20640个样本，8个特征，1个自变量，除了HouseAge是离散型变量，其余均为连续型变量。树模型分析重要性和贝叶斯优化时，均使用原始数据，SHAP值法时使用归一化后的数据。

d51445e4c2624312a5a6ef8ed17ba7eb.png

原始数据节选

TPE过程贝叶斯优化超参数寻优

        集成学习中超参数设置一直是大问题，本文通过调用Optuna库进行TPE过程的贝叶斯优化，对三种树模型进行超参数寻优。代码如下：

  1. import optuna
  2. from sklearn.model_selection import KFold,cross_validate
  3. import pandas as pd
  4. import numpy as np
  5. from sklearn.ensemble import GradientBoostingRegressor
  6. from sklearn.tree import DecisionTreeRegressor
  7. from sklearn.ensemble import RandomForestRegressor
  8. import time
  9. start_time = time.time()
  10.  
  11. # 读取数据
  12. data = pd.read_csv(r'D:\2暂存文件\Sth with Py\重要性程度分析\data.csv')
  13. X = data.iloc[:,[0, 1, 2, 3, 4, 5, 6, 7]]
  14. y = data.iloc[:,8]
  15.  
  16. '''贝叶斯随机森林寻优'''
  17. # 定义目标函数和参数空间
  18. def optuna_objective(trial):
  19.     # 定义参数空间
  20.     n_estimators = trial.suggest_int('n_estimators', 10, 30, 1)
  21.     max_depth = trial.suggest_int('max_depth', 10, 30, 1)
  22.     max_features = trial.suggest_int('max_features', 10, 30, 1)
  23.  
  24.     # 定义评估器
  25.     reg = RandomForestRegressor(n_estimators=n_estimators,
  26.               max_depth=max_depth,
  27.               max_features=max_features,
  28.               random_state=1412,
  29.               verbose=False,
  30.               n_jobs=-1)
  31.  
  32.     # 定义交叉过程，输出负均方误差
  33.     cv = KFold(n_splits=5, shuffle=True, random_state=1412)
  34.     validation_loss = cross_validate(reg, X, y,
  35.                                      scoring='neg_mean_squared_error',
  36.                                      cv=cv,
  37.                                      verbose=True,
  38.                                      n_jobs=-1,
  39.                                      error_score='raise')
  40.     return np.mean(validation_loss['test_score'])
  41.  
  42. # 定义优化目标函数
  43. def optimizer_optuna(n_trials):
  44.     study = optuna.create_study(sampler=optuna.samplers.TPESampler(n_startup_trials=20, n_ei_candidates=30),
  45.                                 direction='maximize')
  46.     study.optimize(optuna_objective, n_trials=n_trials, show_progress_bar=True)
  47.  
  48.     print('随机森林最优参数：\nbest_params:', study.best_trial.params,
  49.           '随机森林最优得分：\nbest_score:', study.best_trial.values,
  50.           '\n')
  51.  
  52.     return study.best_trial.params, study.best_trial.values
  53.  
  54. import warnings
  55. warnings.filterwarnings('ignore',message='The objective has been evaluated at this point before trails')
  56. optuna.logging.set_verbosity(optuna.logging.ERROR)
  57. best_params, best_score = optimizer_optuna(100)
  58.  
  59. # 保存最优参数和最优得分到文件
  60. with open(r'D:\2暂存文件\Sth with Py\重要性程度分析\随机森林贝叶斯优化结果.txt', 'w') as f:
  61.     for key, value in best_params.items():
  62.         f.write(f'{key}: {value}\n')
  63.     f.write(f'Best Score: {best_score}\n')
  64.  
  65. '''贝叶斯决策树寻优'''
  66. # 定义目标函数和参数空间
  67. def optuna_objective(trial):
  68.     # 定义参数空间
  69.     max_depth = trial.suggest_int('max_depth', 10, 30, 1)
  70.     min_samples_split = trial.suggest_int('min_samples_split',10,30,1)
  71.     min_samples_leaf = trial.suggest_int('min_samples_leaf',10,30,1)
  72.     max_features = trial.suggest_int('max_features', 10, 30, 1)
  73.  
  74.     # 定义评估器
  75.     dtr = DecisionTreeRegressor(
  76.         max_depth=max_depth,
  77.         max_features=max_features,
  78.         min_samples_split=min_samples_split,
  79.         min_samples_leaf=min_samples_leaf,
  80.         random_state=1412,)
  81.  
  82.     # 定义交叉过程，输出负均方误差
  83.     cv = KFold(n_splits=5, shuffle=True, random_state=1412)
  84.     validation_loss = cross_validate(dtr, X, y,
  85.                                      scoring='neg_mean_squared_error',
  86.                                      cv=cv,
  87.                                      verbose=True,
  88.                                      n_jobs=-1,
  89.                                      error_score='raise')
  90.     return np.mean(validation_loss['test_score'])
  91.  
  92. # 定义优化目标函数
  93. def optimizer_optuna(n_trials):
  94.     study = optuna.create_study(sampler=optuna.samplers.TPESampler(n_startup_trials=20, n_ei_candidates=30),
  95.                                 direction='maximize')
  96.     study.optimize(optuna_objective, n_trials=n_trials, show_progress_bar=True)
  97.  
  98.     print('决策树最优参数：\nbest_params:', study.best_trial.params,
  99.           '决策树最优得分：\nbest_score:', study.best_trial.values,
  100.           '\n')
  101.  
  102.     return study.best_trial.params, study.best_trial.values
  103.  
  104. import warnings
  105. warnings.filterwarnings('ignore',message='The objective has been evaluated at this point before trails')
  106. optuna.logging.set_verbosity(optuna.logging.ERROR)
  107. best_params, best_score = optimizer_optuna(100)
  108.  
  109. # 保存最优参数和最优得分到文件
  110. with open(r'D:\2暂存文件\Sth with Py\重要性程度分析\决策树贝叶斯优化结果.txt', 'w') as f:
  111.     for key, value in best_params.items():
  112.         f.write(f'{key}: {value}\n')
  113.     f.write(f'Best Score: {best_score}\n')
  114.  
  115. '''贝叶斯梯度提升树寻优'''
  116.  
  117.  
  118. # 定义目标函数和参数空间
  119. def optuna_objective(trial):
  120.     # 定义参数空间
  121.     max_depth = trial.suggest_int('max_depth', 3, 10)
  122.     learning_rate = trial.suggest_float('learning_rate', 0.001, 0.1, log=True)
  123.     n_estimators = trial.suggest_int('n_estimators', 50, 200)
  124.     subsample = trial.suggest_float('subsample', 0.5, 1.0)
  125.  
  126.     # 定义评估器
  127.     gbr = GradientBoostingRegressor(
  128.         max_depth=max_depth,
  129.         learning_rate=learning_rate,
  130.         n_estimators=n_estimators,
  131.         subsample=subsample,
  132.         random_state=1412, )
  133.  
  134.     # 定义交叉过程，输出负均方误差
  135.     cv = KFold(n_splits=5, shuffle=True, random_state=1412)
  136.     validation_loss = cross_validate(gbr, X, y,
  137.                                      scoring='neg_mean_squared_error',
  138.                                      cv=cv,
  139.                                      verbose=True,
  140.                                      n_jobs=-1,
  141.                                      error_score='raise')
  142.     return np.mean(validation_loss['test_score'])
  143.  
  144.  
  145. # 定义优化目标函数
  146. def optimizer_optuna(n_trials):
  147.     study = optuna.create_study(sampler=optuna.samplers.TPESampler(n_startup_trials=20, n_ei_candidates=30),
  148.                                 direction='maximize')
  149.     study.optimize(optuna_objective, n_trials=n_trials, show_progress_bar=True)
  150.  
  151.     print('梯度提升树最优参数：\nbest_params:', study.best_trial.params,
  152.           '梯度提升树最优得分：\nbest_score:', study.best_trial.value, '\n')
  153.  
  154.     return study.best_trial.params, study.best_trial.value
  155.  
  156. import warnings
  157.  
  158. warnings.filterwarnings('ignore', message='The objective has been evaluated at this point before trails')
  159. optuna.logging.set_verbosity(optuna.logging.ERROR)
  160. best_params, best_score = optimizer_optuna(100)
  161.  
  162. # 保存最优参数和最优得分到文件
  163. with open(r'D:\2暂存文件\Sth with Py\重要性程度分析\梯度提升树贝叶斯优化结果.txt', 'w') as f:
  164.     for key, value in best_params.items():
  165.         f.write(f'{key}: {value}\n')
  166.     f.write(f'Best Score: {best_score}\n')
  167.  
  168. # 结束计时
  169. end_time = time.time()
  170.  
  171. # 输出执行时间
  172. execution_time = end_time - start_time
  173. print("模型训练执行时间: {:.2f}秒".format(execution_time))

决策树模型最优参数及最佳得分如下：

max_depth: 11、min_samples_split: 18、min_samples_leaf: 13、max_features: 12
Best Score: -0.24607607821335736

随机森林模型最优参数及最佳得分如下：

n_estimators: 30、max_depth: 19、max_features: 24
Best Score: -0.18016603147647478

梯度提升树模型最优参数及最佳得分如下：

max_depth: 9、learning_rate: 0.0418665547136736、n_estimators: 188、subsample: 0.676537978032126
Best Score: -0.16401985559476492

树模型

        树模型，例如决策树和随机森林，能够通过对数据的划分建立一棵树形结构。它可以考虑不仅是线性关系，还包括非线性和交互作用。树模型不仅能够判断特征的重要性，还能够提供每个特征对目标变量的具体影响程度。通过这种方式，我们可以更好地理解和解释特征的重要性。另外，树模型还能够处理缺失值和离群点，使得分析结果更加鲁棒。此外，树模型还可以处理各种类型的特征，包括连续型、分类型以及文本型特征，具有很强的适应性。

        其中源码和绘图结果如下：

  1. import pandas as pd
  2. import numpy as np
  3. from sklearn.ensemble import RandomForestRegressor
  4. from sklearn.tree import DecisionTreeRegressor
  5. from sklearn.ensemble import GradientBoostingRegressor
  6. import matplotlib.pyplot as plt
  7. import time
  8. plt.rcParams['font.sans-serif']=['SimHei'] # 把中文字体改成国际黑体
  9. plt.rcParams['axes.unicode_minus'] = False # 显示负号
  10. start_time = time.time()
  11.  
  12. # 读取数据
  13. data = pd.read_csv(r'D:\2暂存文件\Sth with Py\重要性程度分析\data.csv')
  14. X = data.iloc[0:5000,[0, 1, 2, 3, 4, 5, 6, 7]]
  15. y = data.iloc[0:5000,8]
  16.  
  17.  
  18. '''决策树'''
  19. model_dtr = DecisionTreeRegressor(max_depth=11,
  20.                                   min_samples_split=18,
  21.                                   min_samples_leaf=13,
  22.                                   max_features=12)
  23. model_dtr.fit(X, y)
  24. importances_dtr = model_dtr.feature_importances_
  25.  
  26. '''随机森林'''
  27. model_rfr = RandomForestRegressor(n_estimators=30,max_depth=19,max_features=24)
  28. model_rfr.fit(X, y)
  29. importances_rfr = model_rfr.feature_importances_
  30.  
  31. '''梯度提升树'''
  32. model_gbr = GradientBoostingRegressor(max_depth=9,learning_rate=0.0418665547136736,n_estimators=188,subsample=0.676537978032126)
  33. model_gbr.fit(X, y)
  34. importances_gbr = model_gbr.feature_importances_
  35.  
  36. # 创建特征名称列表
  37. feature_names = ['MedInc','HouseAge','AveRooms','AveBedrms','Population','AveOccup','Latitude','Longitude']
  38.  
  39. # 将特征名称和重要性值进行配对
  40. feature_importances_dtr = list(zip(feature_names, importances_dtr))
  41. print('决策树特征重要性：',feature_importances_dtr)
  42. feature_importances_rfr = list(zip(feature_names, importances_rfr))
  43. print('\n随机森林特征重要性：',feature_importances_rfr)
  44. feature_importances_gbr = list(zip(feature_names, importances_gbr))
  45. print('\n梯度提升树特征重要性：',feature_importances_gbr)
  46.  
  47. '''绘图'''
  48. tree = pd.read_excel(r'D:\2暂存文件\Sth with Py\重要性程度分析\树模型重要性.xlsx')
  49. labels=["特征","Decision trees","Random Forest","GBDT","Average"]
  50.  
  51. # 把dataframe转换为list
  52. x = tree['特征'].values.tolist()
  53. y1 = tree['Decision trees'].values.tolist()
  54. y2 = tree['Random Forest'].values.tolist()
  55. y3 = tree['GBDT'].values.tolist()
  56. y4 = tree['Average'].values.tolist()
  57.  
  58. plt.bar(x=np.arange(len(x))-0.2,height=y1,label="Decision trees",color="#AADCE0",width=0.1)
  59. plt.bar(x=np.arange(len(x))-0.1,height=y2,label="Random Forest",color="#FFD06F",width=0.1)
  60. plt.bar(x=x,height=y3,label="GBDT",color="#FFE6B7",width=0.1)
  61. plt.bar(x=np.arange(len(x))+0.1,height=y4,label="Average",color="#E76254",width=0.1)
  62.  
  63. plt.legend(loc="upper right")
  64. plt.xticks(x)
  65. 轴=plt.gca()
  66. 轴.set_xticklabels(x,rotation=45,ha="center")
  67. 图形=plt.gcf()
  68. plt.xlabel('Feature',fontsize=15)
  69. plt.ylabel('Importance',fontsize=15)
  70. plt.title('Feature Importance',fontsize=18)
  71. 图形.subplots_adjust(left=0.1,bottom=0.3)
  72. plt.savefig(r'D:\2暂存文件\Sth with Py\重要性程度分析\树模型重要性.png',dpi=600)
  73. # 输出执行时间
  74. end_time = time.time()
  75. execution_time = end_time - start_time
  76. print("模型训练执行时间: {:.2f}秒".format(execution_time))
  77. plt.show()
0f72ad78b27b4895ac4f2c83718ef77f.png

树模型重要性分析图

SHAP值法

        SHAP值法采用了一种更为细致的方法来解释特征重要性。它通过计算每个特征对模型预测结果的贡献程度，从而揭示出特征之间的相互作用和非线性关系。这使得我们能够更全面地了解特征对目标的影响，而不仅仅局限于线性关系的分析。本文使用随机森林回归模型，其中数据使用归一化后的数据。代码和摘要图、特征重要性图如下：

  1. import pandas as pd
  2. import shap
  3. from sklearn.preprocessing import MinMaxScaler
  4. from sklearn.ensemble import RandomForestRegressor
  5. import matplotlib.pyplot as plt
  6. import time
  7. plt.rcParams['font.sans-serif']=['SimHei'] # 把中文字体改成国际黑体
  8. plt.rcParams['axes.unicode_minus'] = False # 显示负号
  9.  
  10. # 读取数据
  11. normalized_data = pd.read_excel(r'D:\2暂存文件\Sth with Py\重要性程度分析\归一化数据.xlsx')
  12. X = normalized_data.iloc[:,[0, 1, 2, 3, 4, 5, 6, 7]]
  13. y = normalized_data.iloc[:,8]
  14.  
  15. start_time = time.time()
  16.  
  17. # 初始化随机森林模型
  18. model = RandomForestRegressor(n_estimators=30,max_depth=19,max_features=24)
  19.  
  20. # 训练模型
  21. model.fit(X, y)
  22.  
  23. # 创建一个Explainer对象
  24. explainer = shap.Explainer(model)
  25.  
  26. # 计算SHAP值
  27. shap_values = explainer.shap_values(X)
  28.  
  29. # 结束计时
  30. end_time = time.time()
  31.  
  32. # 输出执行时间
  33. execution_time = end_time - start_time
  34. print("模型训练执行时间: {:.2f}秒".format(execution_time))
  35.  
  36. # 打印特征重要性得分
  37. shap.summary_plot(shap_values, X)
  38.  
  39. # 打印每个特征的重要性图
  40. shap.summary_plot(shap_values, X, plot_type="bar")
a27c7ab21c2145f5a1881b188d74049b.png

SHAP值摘要图

1f62ce3cf6c54131a4479dde6ac7a8a5.png

SHAP值特征重要性图

 

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Cpp五条/article/detail/285557
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号