分类模型-GridSearchCV-网格调参_gridsearchcv搜索参数

---

前言

最近需要进行模型对比，验证算法好坏。

一、封装函数

封装成两个函数，一个建模时候使用初始参数，另一个采取网格调参进行建模。

其中Optimize_Params函数是需要多传入一个参数params，是取定模型之后对其进行参数优化，其格式为字典类型，后续代码会有详细展示。

def Optimize_Params(model,params , x_train, y_train,x_test,y_test):
    optimized_model = GridSearchCV(estimator = model, param_grid = params, cv=10,n_jobs=-1)
    optimized_model.fit(x_train, y_train)
 
    # evalute_result = optimized_model.cv_results_['mean_test_score']
    # print('每轮迭代运行结果:{0}'.format(evalute_result))
 
    print('参数的最佳取值：{0}'.format(optimized_model.best_params_))#best_score_#查看最佳分数(此处为f1_score)
    print('最佳模型得分:{0}'.format(optimized_model.best_score_))#best_params_#查看最佳参数
 
    y_pred = optimized_model.predict(x_test)#测试集预测值
    print(classification_report(y_test, y_pred))
    print("\n\n")
 
 
 
def init_Params(model,x_train, y_train,x_test,y_test):
    model.fit(x_train, y_train)
    y_pred = model.predict(x_test)#测试集预测值
    print(classification_report(y_test, y_pred))
    print("\n\n")

二、使用步骤

1.读入数据

选取UCI数据集中Heart数据，并进行简单的处理。

from sklearn.preprocessing import LabelEncoder 
 
D_name='target' 
data = pd.read_csv("heart.csv")
data["sex"].replace("male",0,inplace=True) 
data["sex"].replace("female",1,inplace=True) 
data["thal"].replace("fixed defect",0,inplace=True) 
data["thal"].replace("reversable defect",1,inplace=True)  
data["thal"].replace("normal",2,inplace=True)
 
from sklearn.model_selection import train_test_split
#导入你要分的数据特征X，标签Y
x_train, x_test, y_train, y_test = train_test_split(data.drop(D_name,axis=1),data[D_name],test_size=0.3,random_state=random_state)

2.调用函数

2.1 DecisionTree

DecisionTreeClassifier 是一种基于决策树算法的分类器，可以根据不同的特征及其组合进行分类。以下是 DecisionTreeClassifier 常用的一些参数：

- criterion：特征选择准则。可以选择 "gini" 或 "entropy" 两种方法。默认是 "gini"。
- splitter：特征划分点的策略。可以选择 "best" 或 "random" 两种方式。默认是 "best"。
- max_depth：树的最大深度。默认是 None，表示无限制深度。
- min_samples_split：节点分裂所需的最小样本数。默认是2。
- min_samples_leaf：叶节点所需的最小样本数。默认是1。
- max_features：寻找最佳划分时应考虑的特征数量。可以是整数，浮点数或字符串。默认情况下，它等于所有特征数。

可以通过调用 `DecisionTreeClassifier().get_params().keys()` 方法查看所有参数的完整列表。根据你的具体任务需求，选择不同的参数进行调整，以获得更好的分类结果。常见的操作是通过网格搜索（Grid Search）或随机搜索（Random Search）技术来搜索最佳参数组合。

下面是一个简单的例子。

from sklearn.tree import DecisionTreeClassifier 
 
# 预设各参数的不同选项值
max_depth = [2,10,50,100,200,500]
min_samples_split = [1,5,10,20]
min_samples_leaf = [1,5,10,20]
# 将各参数值以字典形式组织起来
params = {'max_depth':max_depth, 'min_samples_split':min_samples_split,    
                        'min_samples_leaf':min_samples_leaf}
model = DecisionTreeClassifier(random_state=random_state)
 
 
 
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

---

2.2 RandomForest

RandomForestClassifier 是一种基于决策树算法的集成学习分类器，它使用多个决策树进行训练和预测以提高预测准确率。以下是 RandomForestClassifier 常用的一些参数：

- n_estimators：随机森林中树的数量。默认是 100。
- criterion：特征选择准则。可以选择 "gini" 或 "entropy" 两种方法。默认是 "gini"。
- max_depth：每个决策树的最大深度。默认是 None，表示无限制深度。
- min_samples_split：节点分裂所需的最小样本数。默认是2。
- min_samples_leaf：叶节点所需的最小样本数。默认是1。
- max_features：寻找最佳划分时应考虑的特征数量。可以是整数，浮点数或字符串。默认情况下，它等于总特征数的平方根。
- bootstrap：是否在建立树时对数据进行自助采样。默认为 True。
- oob_score：是否计算袋装外估计（弃用样本）得分。默认为 False。
- random_state：随机种子。默认情况下，不设置该参数，意味着随机种子为 None。

可以通过调用 `RandomForestClassifier().get_params().keys()` 方法查看所有参数的完整列表。根据你的具体任务需求，选择不同的参数进行调整，以获得更好的分类结果。常见的操作是通过网格搜索（Grid Search）或随机搜索（Random Search）技术来搜索最佳参数组合。

下面是一个简单的例子

from sklearn.ensemble import RandomForestClassifier
 
criterion = ["gini","entropy"]
min_samples_split = [1,2,3,4,5,10,15,20]
params={'n_estimators':[10,120,500,1200],'max_depth':[5,15,30],
       "criterion":criterion,"min_samples_split":min_samples_split}
model=RandomForestClassifier(random_state=random_state) 
 
 
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

 2.3 AdaBoost

AdaBoost 是一种集成学习方法，它将多个弱学习器组合为一个强学习器。AdaBoost 有许多可以调整的参数，下面是常用的几个参数：

1. n_estimators：基分类器的数量。默认为50。

2. learning_rate：学习率，控制每个弱分类器对最终分类器的贡献程度。较小的学习速率有助于提高训练的稳定性和泛化性能。默认值为1.0。

3. base_estimator：AdaBoost 算法使用的基分类器，默认为决策树分类器，也可以自定义其他分类器。

4. algorithm：选择 AdaBoost 算法实现，可以选择 SAMME.R 或 SAMME。默认是 SAMME.R，它是基于对概率的预测进行加权的版本，相较于SAMME，SAMME.R 的效果更好。

5. random_state：随机种子。默认情况下，不设置该参数，意味着随机种子为 None。

这些参数可以通过对应算法的 `get_params` 方法查看可选参数及默认值，也可以通过交叉验证等方法对参数进行调优。在使用时，需要根据具体任务需求和数据情况进行选择与调整。

from sklearn.ensemble import AdaBoostClassifier
from sklearn.tree import DecisionTreeClassifier 
max_depth = [1,3,5,10,20,50]
n_estimators = [10,100,300,500]
learning_rate = [0.01,0.05,0.1,0.2]
algorithm = ["SAMME","SAMME.R"]
params = {'n_estimators':n_estimators,'learning_rate':learning_rate,
       'base_estimator__max_depth':max_depth,"algorithm":algorithm}                     
model = AdaBoostClassifier(base_estimator = DecisionTreeClassifier(random_state=random_state))
 
 
 
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

 2.4 GradientBoosting

GradientBoostingClassifier 是一种基于决策树算法的集成学习分类器，它使用多个决策树进行训练和预测以提高预测准确率。以下是 GradientBoostingClassifier 常用的一些参数：

- learning_rate：学习率，控制每个弱分类器对最终分类器的贡献程度。较小的学习速率有助于提高训练的稳定性和泛化性能。默认值为0.1。
- n_estimators：使得所选损失函数的决策树数量。默认是100，但选择更大的数字可以提高模型性能。
- criterion：特征选择准则。可以选择 "friedman_mse"、"mse" 或 "mae" 三种方法，默认是 "friedman_mse"。
- max_depth：决策树的最大深度。默认是3 。较大的深度通常表示更强的复杂性并且需要更长的时间来训练。
- min_samples_split：内部节点分裂所需的最小样本数。默认是2。
- min_samples_leaf：叶节点所需的最小样本数。默认是1。
- subsample：用于拟合单个基本估计量的子样本比例。默认是1.0。可以设置较小的值以使模型更加鲁棒。
- max_features：候选特征的最大数量。可以是整数，浮点数或者字符串 "auto"、"sqrt" 或 "log2"，或者设置为 None（与 "sqrt" 相同）。默认情况下，它等于总特征数的平方根。
- random_state：随机种子。默认情况下，不设置该参数，意味着随机种子为 None。

可以通过调用 `GradientBoostingClassifier().get_params().keys()` 方法查看所有参数的完整列表。根据你的具体任务需求，选择不同的参数进行调整，以获得更好的分类结果。常见的操作是通过网格搜索（Grid Search）或随机搜索（Random Search）技术来搜索最佳参数组合。

from  sklearn.ensemble import  GradientBoostingClassifier
 
 
max_depth = [1,5,10]
n_estimators = [10,50,100,300,500]
min_samples_split=[1,5,10]
learning_rate= np.arange(0.1, 1, 0.2)
min_samples_leaf=[1,5,10]
params = {'learning_rate':learning_rate,'n_estimators':n_estimators,'max_depth':max_depth,
          "min_samples_split":min_samples_split,"min_samples_leaf":min_samples_leaf}
 
model = GradientBoostingClassifier(random_state=random_state)
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

 2.5 CatBoost

CatBoost 是一种基于梯度提升树的机器学习算法，它可以自动处理分类特征并进行高效的训练。CatBoost 有许多可以调整的参数，下面是一些常用的参数：

1. iterations：树的数量。树的数量越多，模型就越复杂，可能会出现过拟合的情况。默认值为1000。

2. learning_rate：学习率，控制每个弱分类器对最终分类器的影响程度。较小的学习速率可以提高模型的鲁棒性和泛化性能，但是会使模型收敛速度变慢。默认值为0.03。

3. depth：树的深度。树的深度越大，模型就越复杂，容易发生过拟合。默认值为6。

4. l2_leaf_reg：L2 正则化系数。L2 正则化可以有效地防止过拟合，但如果设置得太高，则可能会导致欠拟合。默认值为3。

5. loss_function：损失函数。CatBoost 支持多种损失函数，比如对数似然函数（Logloss）、平均绝对误差（MAE）和均方误差（MSE）等。默认值为 Logloss。

6. eval_metric：评估指标。用于测量模型性能的指标，如错误率、精度和 AUC 等。默认值为 Logloss。

7. cat_features：分类特征的列索引列表。CatBoost 能够自动处理分类特征，但是如果你已经知道哪些特征是分类特征，可以将这些特征的列索引指定为 cat_features 参数，以提高模型的准确性。

这些参数可以通过对应算法的 `get_params` 方法查看可选参数及默认值，也可以通过交叉验证等方法对参数进行调参。在使用时，需要根据具体任务需求和数据情况进行选择与调整。

from catboost import Pool, CatBoostClassifier
 
iterations = [100,500,800]
depth=[1,2,3,4,5,10,20,30]
learning_rate= np.arange(0.1, 1, 0.1)
l2_leaf_reg=[1,2,3,4,5,10,20,30]
params = {'learning_rate':learning_rate,'depth':depth,'iterations':iterations,'l2_leaf_reg':l2_leaf_reg}
 
 
model =  CatBoostClassifier(loss_function='Logloss',random_state=random_state,verbose=False,)
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

这里可以看到，调参后效果没有初始参数的效果好。所以启发我们可以再调参数的时候把初始参数也放进去params中，或者将可调参数个数与范围都扩大，寻出相对最优参数 。

2.6 ExtraTrees

ExtraTreesClassifier() 是一个分类算法模型，它具有以下一些常用参数：

- n_estimators：决策树的数量，默认为100。
- criterion：衡量分裂质量的指标。支持 "gini" 和 "entropy" 两种方式，默认是 "gini"。
- max_depth：决策树的最大深度。如果不指定，则默认不设置最大深度。
- min_samples_split：拆分内部节点所需的最小样本数。小于此值的内部节点将不再分裂。默认是2。
- min_samples_leaf：叶节点最少包含的样本数。默认是1。
- max_features：寻找最佳分割时要考虑的功能数量。可以是整数、浮点数或字符串。如果是整数，则将考虑max_features个特性；如果是浮点数，则考虑max_features*N个特征，其中N是特征总数。如果是 "sqrt" 或 "auto"，则max_features = sqrt(n_features); 如果是 "log2" 则 max_features = log2(n_features)。默认是 "auto"，它等同于 "sqrt"。
- bootstrap：是否在构建树时使用自举样本。默认是 False，即不使用。
- random_state：随机种子。如果指定了这个数字，则每次运行对于给定的数据集都会得到相同的结果。
- n_jobs：并行计算的数量。-1 表示所有可用的 CPU。默认是 None，表示只使用一个 CPU。

你可以通过调用 `ExtraTreesClassifier().get_params().keys()` 查看所有参数的完整列表。

from sklearn.ensemble import ExtraTreesClassifier
 
n_estimators= [10,100,300,500]
criterion = ["gini", "entropy"]
min_samples_leaf = [1,5,10]
max_depth = [1,5,10,20,50]
params = {'n_estimators':n_estimators,
            "criterion":criterion,
            "min_samples_leaf":min_samples_leaf,
            "max_depth":max_depth}
 
model = ExtraTreesClassifier(random_state=random_state)
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

2.7 SVC

SVM (Support Vector Machine) 是一种常见的分类算法，而 SVC (Support Vector Classifier) 是 SVM 在分类问题上的具体实现。以下是 SVC 常用的一些参数：

- C：正则化参数。它越小，正则化的强度就越强。默认值为1.0。
- kernel：核函数类型。可以选择 "linear"、"poly"、"rbf"、"sigmoid" 四种方式，默认是 "rbf" 核函数。
- degree：核函数的次数（如果使用多项式核函数）。默认是3。
- gamma：核函数的系数（如果使用 rbf、poly 或 sigmoid 核函数）。默认是 "scale"，可以选择 "auto" 或任何数字。
- coef0：核函数中独立项的系数。只有在使用 "poly" 和 "sigmoid" 核函数时才需设置。默认值为0.0。
- shrinking：是否使用缩放启发式算法来加速训练。默认为 True。
- tol：停止拟合的容忍度。表示如果两次迭代之间的差异小于 tol，则认为算法已经收敛。默认值为1e-4。
- probability：是否启用概率估计。默认为 False，不启用概率估计。
- class_weight：每个类别的权重。可以是 "balanced" 权重，也可以使用字典或数组自定义权重。默认情况下，所有类别的权重都是相等的。

你可以通过调用 `SVC().get_params().keys()` 方法查看所有参数的完整列表。根据你的具体任务需求，选择不同的参数进行调整，以获得更好的分类结果。常见的操作是通过网格搜索（Grid Search）或随机搜索（Random Search）技术来搜索最佳参数组合。

from sklearn.svm import SVC
 
kernel=['rbf','linear','poly','sigmoid']
C=[0.1,0.5,1,2,5]
probability = [True,False]
tol = [1e-3,1e-5,1e-10]
params = {'kernel':kernel,'C':C,"probability":probability,"tol":tol}
 
model = SVC(random_state=random_state)
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

 2.8 LinearSVC

LinearSVC 是一个支持向量机分类算法的实现，它具有以下一些常用参数可供调整：

- C：正则化参数。它越小，正则化的强度就越强。默认值为1.0。
- loss：损失函数。可以是 "hinge" 或 "squared_hinge" 两种方式，默认是 "squared_hinge"。
- penalty：正则化选项。可以选择 "l1" 或 "l2" 正则化，或者将其设置为 "None" 不使用正则化。默认是 "l2" 正则化。
- dual：是否使用对偶形式。如果样本数量>特征数量，则选择 False；如果样本数量<特征数量，则选择 True。默认是 True。
- tol：停止拟合的容忍度。表示如果两次迭代之间的差异小于 tol，则认为算法已经收敛。默认值为1e-4。
- multi_class：多类分类中选择损失函数的方式。可以选择 "ovr" 或 "crammer_singer" 两种方法。默认是 "ovr"，表示一对多方法。
- fit_intercept：是否应该计算截距。默认是 True。
- intercept_scaling：插入项的缩放大小。默认是 1。
- class_weight：每个类别的权重。可以是 "balanced" 权重，也可以使用字典或数组自定义权重。默认情况下，所有类别的权重都是相等的。

你可以通过调用 `LinearSVC().get_params().keys()` 方法查看所有参数的完整列表。根据你的具体任务需求，选择不同的参数进行调整，以获得更好的分类结果。

from sklearn.svm import LinearSVC 
 
loss = ["hinge","squared_hinge"]
C=[0.01,1,10,100]
params = {"C":C,"loss":loss}
 
model =LinearSVC(random_state=random_state)
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

 这里也是一样的，调参后效果没有初始参数的效果好。可调参数个数与范围都扩大，寻出相对最优参数 。

2.9 xgboost

XGBoost 是一种基于梯度提升决策树的机器学习算法，它通过优化树模型的结构和分裂点来提高模型性能。XGBoost 有许多可以调整的参数，下面是一些常用的参数：

1. max_depth：树的最大深度。树的深度越大，模型就越复杂，可能会出现过拟合的情况。默认值为6。

2. learning_rate：学习率，控制每个弱分类器对最终分类器的影响程度。较小的学习速率可以提高模型的鲁棒性和泛化性能，但是会使模型收敛速度变慢。默认值为0.1。

3. n_estimators：树的数量。树的数量越多，模型就越复杂，可能会出现过拟合的情况。默认值为100。

4. subsample：子采样率。随机选择部分训练数据以加速学习和减少过拟合的风险。默认值为1，表示不进行采样。

5. colsample_bytree：列采样率。随机选择特征子集以加速学习和减少过拟合的风险。默认值为1，表示不进行采样。

6. reg_alpha：L1 正则化系数。L1 正则化可以有效地防止过拟合，但如果设置得太高，则可能会导致欠拟合。默认值为0。

7. reg_lambda：L2 正则化系数。L2 正则化可以有效地防止过拟合，但如果设置得太高，则可能会导致欠拟合。默认值为1。

8. gamma：分裂阈值的最小增益。控制树的复杂度和叶子节点的数量。默认值为0，表示无限制。

这些参数可以通过对应算法的 `get_params` 方法查看可选参数及默认值，也可以通过交叉验证等方法对参数进行调参。在使用时，需要根据具体任务需求和数据情况进行选择与调整。

import xgboost as xgb 
 
subsample= np.linspace(0.1,1,10)
learning_rate = [0.01,0.1,0.2,0.001,1]
n_estimators = [10,100,500]
max_depth = [3,10,20]
params = {'learning_rate':learning_rate,'n_estimators':n_estimators,\
        'max_depth':max_depth,'subsample':subsample}
other_params = {'booster': 'gbtree',
                'objective': 'reg:linear',
                'colsample_bytree': 0.85,
                'eta': 0.05,
                'seed': random_state,
                'eval_metric': 'rmse'}
 
model=xgb.XGBClassifier(**other_params)#选择邻近的5个点   
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

2.10 LogisticRegression

逻辑回归是一种经典的分类算法，它基于最大似然估计来构建模型，可以通过优化损失函数来进行训练。逻辑回归模型的参数通常比较简单，下面是一些常用的参数：

1. penalty：正则化项。逻辑回归模型支持 L1 正则化和 L2 正则化，分别由参数 "l1" 和 "l2" 控制。正则化可以有效地防止过拟合，提高模型的准确性。

2. C：正则化系数。C 值越小，正则化的强度越大。C 值越大，正则化的强度越小，模型的复杂度也会增加。调整 C 值可以控制模型的泛化能力和鲁棒性。

3. solver：优化算法。逻辑回归模型支持多种优化算法，如 "lbfgs"、"liblinear"、"newton-cg" 和 "sag" 等。默认值为 "lbfgs"，通常情况下无需更改。

4. max_iter：最大迭代次数。当模型迭代达到最大次数时，会停止训练。默认值为100。

5. multi_class：多分类问题。当处理多分类问题时，可以使用 "ovr" 或 "multinomial" 参数。"ovr" 表示使用一对多策略进行多分类，"multinomial" 表示使用 Softmax 函数进行多分类。默认值为 "ovr"。

这些参数可以通过对应算法的 `get_params` 方法查看可选参数及默认值，也可以通过交叉验证等方法对参数进行调参。在使用时，需要根据具体任务需求和数据情况进行选择与调整。

from sklearn.linear_model import LogisticRegression
solver = ["newton-cg","lbfgs","liblinear","sag","saga"]
tol = [1e-3,1e-5,1e-10]
params = {'C':[0.01,0.1,1,5],'penalty':['l1','l2'],
            "solver":solver,"tol":tol}
 
model = LogisticRegression(random_state=random_state)
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

2.11 lightgbm

LightGBM 是一种基于梯度提升决策树的机器学习算法，它通过优化树模型的结构和分裂点来提高模型性能。LightGBM 有许多可以调整的参数，下面是一些常用的参数：

1. num_leaves：叶子节点的数量。树的深度由 num_leaves 控制。num_leaves 越大，模型就越复杂，可能会出现过拟合的情况。默认值为31。

2. learning_rate：学习率，控制每个弱分类器对最终分类器的影响程度。较小的学习速率可以提高模型的鲁棒性和泛化性能，但是会使模型收敛速度变慢。默认值为0.1。

3. n_estimators：树的数量。树的数量越多，模型就越复杂，可能会出现过拟合的情况。默认值为100。

4. subsample：子采样率。随机选择部分训练数据以加速学习和减少过拟合的风险。默认值为1，表示不进行采样。

5. colsample_bytree：列采样率。随机选择特征子集以加速学习和减少过拟合的风险。默认值为1，表示不进行采样。

6. reg_alpha：L1 正则化系数。L1 正则化可以有效地防止过拟合，但如果设置得太高，则可能会导致欠拟合。默认值为0。

7. reg_lambda：L2 正则化系数。L2 正则化可以有效地防止过拟合，但如果设置得太高，则可能会导致欠拟合。默认值为1。

8. min_child_samples：每个叶子节点需要的最小样本数。当一个叶子节点的样本数小于 min_child_samples 时，停止分裂。默认值为20。

9. max_depth：树的最大深度。树的深度越大，模型就越复杂，可能会出现过拟合的情况。默认值为-1，表示不限制深度。

这些参数可以通过对应算法的 `get_params` 方法查看可选参数及默认值，也可以通过交叉验证等方法对参数进行调参。在使用时，需要根据具体任务需求和数据情况进行选择与调整。

import lightgbm as lgb
 
boosting_type = ["gbdt","dart","goss"]
params = {'learning_rate': np.arange(0.1,1,0.1), 'max_depth':[10,100,300,500,1000]  ,
          'n_estimators':[10,100,300,500,1000],"boosting_type":boosting_type}
 
 
model = lgb.LGBMClassifier(random_state=random_state)
init_Params(model,x_train, y_train,x_test,y_test)
Optimize_Params(model,params , x_train, y_train,x_test,y_test)

总结

        针对每种模型，都有他们对应的参数可以进行调整，我们如果有足够的算力的话，可以考虑的参数个数多点，参数值范围广一点。

        如果我们考虑的参数受到限制的话，甚至可能效果是会比初始参数的效果要差一些，毕竟网格搜索就是更多的网格(参数)会搜索更好的结果。

        其实我们在建模之前，不妨先对数据进行处理，可以挑选有效特征列(属性)，这样的话，能够使得用较少的属性，获取更大的指标值(accuracy,f1等等)。

        读者不妨可参考模糊粗糙集知识。对数据集筛选，进行属性约简。