
params {eta, gamma, max_depth, min_child_weight, max_delta_step, subsample, colsample_bytree, colsample_bylevel, colsample_bynode, lambda, alpha, tree_method string, sketch_eps, scale_pos_weight, updater, refresh_leaf, process_type, 
grow_policy, max_leaves, max_bin, predictor, num_parallel_tree}

xgboost.train (params, dtrain, num_boost_round=10, evals=(), obj=None, feval=None, maximize=False,early_stopping_rounds=None, evals_result=None, verbose_eval=True, xgb_model=None, callbacks=None,learning_rates=None)

（2）使用xgboost库中的sklearn的API

class xgboost.XGBRegressor (max_depth=3, learning_rate=0.1, n_estimators=100, silent=True, objective='reg:linear', booster='gbtree', n_jobs=1, nthread=None, gamma=0, min_child_weight=1, max_delta_step=0, subsample=1, colsample_bytree=1, colsample_bylevel=1, reg_alpha=0, reg_lambda=1, scale_pos_weight=1, base_score=0.5, random_state=0, seed=None, missing=None, importance_type='gain', **kwargs)

使用 xgboost 中设定的建模流程来建模，和使用 sklearnAPI中的类来建模，模理效果是比较相似的，但是 xgboost 库本身的运算速度（尤其是交叉验证）以及调参手段比 sklearn要简单。

3. XGBoost的三大板块

XGBoost 本身的核心是基于梯度提升树实现的集成算法，整体来说可以有三个核心部分：集成算法本身，用于集成的弱评估器，以及应用中的其他过程。三个部分中，前两个部分包含了 XGBoost 的核心原理以及数学过程，最后的部分主要是在 XGBoost 应用中占有一席之地。

4. 提升集成算法

XGBoost 的基础是梯度提升算法。梯度提升（Gradient boosting）是构建预测模型的最强大技术之一，它是集成算法中提升法（Boosting）的代表算法。集成算法通过在数据上构建多个弱评估器，汇总所有弱评估器的建模结果，以获取比单个模型更好的回归或分类表现。弱评估器被定义为是表现至少比随机猜测更好的模型，即 预测准确率不低于 50% 的任意模型。

梯度提升树中可以有回归树也可以有分类树，两者都以 CART 树算法作为主流，XGBoost 背后也是 CART 树，这意味着 XGBoost 中所有的树都是二叉的。

5. 建模流程

梯度提升回归树是专注于回归的树模型的提升集成模型，其建模过程大致如下：最开始先建立一棵树，然后逐次迭代，每次迭代过程中都增加一棵树，逐渐形成众多树模型集成的强评估器。

对于决策树而言，每个被放入模型的任意样本最终一个都会落到一个叶子节点上。而对于回归树，每个叶子节点上的值是这个叶子节点上所有样本的均值。

对于梯度提升回归树来说，每个样本的预测结果可以表示为所有树上的结果的加权求和：

其中，K 是树的总数量，k 代表第 k 棵树， $\gamma_k$ 是这棵树的权重， $h_k$ 表示这棵树上的预测结果。

XGB 和 GBDT 核心区别是 求解预测值的方式不同，GBDT 中预测值是由所有弱分类器上的预测结果的加权求和，其中每个样本上的预测结果就是样本所在的叶子节点的均值。对于 XGB 来说，每个叶子节点上会有一个预测分数（prediction score），也被称为叶子权重。这个叶子权重就是所有在这个叶子节点上的样本在这一棵树上的回归取值，用 $f_k(x_i)$ 或者 $w$ 来表示，其中 $f_k$ 表示第 k 棵决策树， $x_i$ 表示样本 i 对应的特征向量。当只有一棵树的时候， $f_1(x_i)$ 就是提升集成算法返回的结果。当有多棵树的时候，集成模型的回归结果就是所有树的预测分数之和，假设这个集成模型中总共有 K 棵决策树，则整个模型在这个样本 i 上给出的预测结果为：

二、模型常用参数

1. n_estimators

补充：

        ① XGB中的树的数量决定了模型的学习能力，树的数量越多，模型的学习能力越强。只要 XGB 中树的数量足够了，即便只有很少的数据，模型也能够学到训练数据 100% 的信息，所以 XGB 也是天生过拟合的模型。但在这种情况下，模型会变得非常不稳定。

        ② XGB 中树的数量很少的时候，对模型的影响较大，当树的数量已经很多的时候，对模型的影响比较小。

        ③ 树的数量提升对模型的影响有极限，最开始，模型的表现会随着 XGB 的树的数量一起提升，但到达某个点之后，树的数量越多，模型的效果会逐步下降，这也说明了暴力增加 n_estimators 不一定有效果。

2. subsample（有放回抽样问题）

训练模型之前，必然会有一个巨大的数据集。树模型是天生过拟合的模型，并且如果数据量太过巨大，树模型的计算会非常缓慢，因此，要 对原始数据集进行有放回抽样（bootstrap）。无论是装袋还是提升的集成算法中，有放回抽样都是防止过拟合，让单一弱分类器变得更轻量的必要操作。实际应用中，每次抽取 50% 左右的数据就能够有不错的效果了。

在梯度提升树中，每一次送代都要建立一棵新的树，因此每次迭代中，都要有放回抽取一个新的训练样本。但是这并不能保证每次建新树后，集成的效果都比之前要好。因此 在梯度提升树中，每构建一个评估器，都让模型更加集中于数据集中容易被判错的那些样本。

首先有一个巨大的数据集，在建第一棵树时，对数据进行初次有放回抽样，然后建模。建模完毕后，对模型进行评估，然后将模型预测错误的样本反馈给数据集，一次迭代就算完成。紧接着要建立第二棵决策树，于是开始进行第二次有放回抽样。但这次有放回抽样时，加大了被第一棵树判断错误的样本的权重。也就是说，被第一棵树判断错误的样本，更有可能被抽中。基于这个有权重的训练集来建模，新建的决策树就会更加倾向于这些权重更大的，很容易被判错的样本。建模完毕之后，又将判错的样本反馈给原始数据集。下一次送代的时候，被判错的样本的权重会更大，新的模型会更加倾向于很难被判断的这些样本。如此反复迭代，越后面建的树，越是之前的树们判错样本上的专家，越专注于攻克那些之前的树们不擅长的数据。

对于一个样本而言，它被预测错误的次数越多，被加大权重的次数也就越多。只要弱分类器足够强大，随着模型整体不断在被判错的样本上发力，这些样本会渐渐被判断正确。如此就一定程度上实现了我们每新建一棵树模型的效果都会提升的目标。

subsample 参数通常是在样本量本身很大的时候调整和使用。参数对模型的影响应该会非常不稳定，大概率应该是无法提升模型的泛化能力的，但也不乏提升模型的可能性。

3. eta（步长）

除了保证模型逐渐倾向于困难样本的方向，还必须控制新弱分类器的生成，我们必须保证，每次新添加的树一定得是对这个新数据集预测效果最优的那一棵树。

可以首先找到一个损失函数 $Obj$ ，这个损失函数应该可以通过带入预测结果 $\hat{y_i}$ ，来衡量梯度提升树在样本的预测效果。然后利用梯度下降来迭代集成算法：

在 k次迭代后，集成算法中总共有 k 棵树，k 棵树的集成结果是前面所有树上的叶子权重的累加 $\sum_{k}^{K}{f_k(x_i)}$ 。所以让 k 棵树的集成结果 $\hat{y_i}^{(k)}$ 加上新建的树上的叶子权重 $f_{k+1}(x_i)$ ，就可以得到第 k+1 次迭代后，总共 k+1 棵树的预测结果 $\hat{y_i}^{(k+1)}$ 了。让这个过程持续下去，直到找到能够让损失函数最小化的 $\hat{y}$ ，这个 $\hat{y}$ 就是模型的预测结果。

上式

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/1017125

推荐阅读

相关标签