Xgboost算法介绍和XGBClassifier方法的代码实现_xgboost.xgbclassifier

XGBoost

XGBoost，eXtreme Gradient Boosting，全名叫极端梯度提升，应用机器学习领域一个强有力的工具，其基本思想为：一棵树一棵树逐渐地往模型里面加，每加一棵CRAT决策树时，要使得整体的效果（目标函数有所下降）有所提升。使用多棵决策树（多个单一的弱分类器）构成组合分类器，并且给每个叶子节点赋与一定的权值。

CART 回归树

CART算法是由Breiman等人首先提出，它包括分类树和回归树两种；两者的不同之处是，分类树的样本输出（即响应值）是类的形式；而回归树的样本输出是数值的形式，这时没法用信息增益、信息增益率、基尼系数来判定树的节点分裂了，我们会采用新的方式：预测误差，常用的有均方误差、对数误差等。节点的确定有时用节点内样本均值，有时是最优化算出来的，比如Xgboost。

Boosting 集成学习

目前集成学习方法大致可分为两大类：

• 个体学习器之间存在强依赖关系、必须串行生成的序列化方法，这种方法的代表是Boosting，由多个相关联的树联合决策;（相关联的意思是：下一棵决策树输入样本会与前面决策树的训练和预测相关）
• 个体学习器间不存在强依赖关系、可同时生成的并行化方法，它的代表是Bagging和RandomForest

简单原理介绍

模型

模型由k棵CART树组成，表示为

这里的K就是树的棵数，F表示所有可能的CART树，f表示一棵具体的CART树

目标函数

等式右边第一部分是损失函数，第二部分是正则项，这里的正则化项由K棵树的正则化项相加而来

训练xgboost

训练目的：最小化目标函数
如果K棵树的结构都已经确定，那么整个模型剩下的就是所有K棵树的叶子节点的值，模型的正则化项也可以设为各个叶子节点的值的平方和。此时，整个目标函数其实就是一个K棵树的所有叶子节点的值的函数，我们就可以使用梯度下降或者随机梯度下降来优化目标函数。

加法训练

分步骤优化目标函数，首先优化第一棵树，完了之后再优化第二棵树，直至优化完K棵树。

假设在第t步时，我们添加了一棵最优的CART树f_t
此时目标函数表示为

其中constant为前t-1棵树的复杂度。
如果我们选择的损失函数为MSE，则

这个式子含有$f_t(x_i)$的一次和二次项，对最优结果的求解很方便，对一般的损失函数，我们只需将其作泰勒二阶展开

其中

$g_i$和$h_i$可分别理解为前t-1棵树组成的模型对第i个训练样本预测的损失函数的一阶导和二阶导。
同时，$g_i$和$h_i$可以进行并行计算是xgboost为什么这么快的主要原因。（因为$g_i$和$h_i$不依赖于损失函数的形式，只要损失函数二次可微就行）

模型正则化项

那么模型的正则化项Ω(ft)是如何来衡量的？首先对CART树作另一番定义：

定义解释如下：一棵树有T个叶子节点，这T个叶子节点的值组成了一个T维向量$w$，$q(x)$是一个映射，用来将样本映射成1到T的某个值，也就是把它分到某个叶子节点，$q(x)$其实就代表了CART树的结构。$w_q(x)$就是这棵树对样本x的预测值了。

于是xgboost使用了如下的正则化项

说明：xgboost定义了$\gamma$和$\lambda$，可以自定义值，$\gamma$越大，对较多叶子节点的树的惩罚越大，即表示希望获得结构简单的树。$\lambda$越大也是越希望获得结构简单的树。

最终结果

对一般的损失函数，泰勒展开后忽略告诫无穷小，将正则化项带入目标函数可得：
其中$I_j$代表一个集合，集合中每个值代表一个训练样本的序号，整个集合就是被第t棵CART树分到了第j个叶子节点上的训练样本，令


得

容易求出各个叶子节点的最佳值以及此时目标函数的值


$obj\ast$表示了这棵树的结构有多好，值越小，代表这样结构越好！也就是说，它是衡量第t棵CART树的结构好坏的标准。但是这个值仅仅是用来衡量结构的好坏的，与叶子节点的值可是无关的。

找出最优的树结构

逐步学习出最佳的树结构，找出各个特征的切分点，衡量切分好坏的标准定义如下

即：单节点的$obj\ast$减去切分后的两个节点的树$obj\ast$，Gain的值越大越值得切分；Gain的左半部分如果小于右侧的$\gamma$，则Gain就是负的，表明切分后$obj$反而变大了。$\gamma$在这里实际上是一个临界值，它的值越大，表示我们对切分后obj下降幅度要求越严。这个值也是可以在xgboost中设定的。如果切分，对切分出来的两个节点，递归地调用这个切分过程，我们就能获得一个相对较好的树结构。同时，xgboost在切分的时候就已经考虑了树的复杂度，就是那个$\gamma$参数。所以，它不需要进行单独的剪枝操作。

XGBClassifier 方法

xgboost.XGBClassifier 方法是用于XGBoost分类的scikit-learn API实现：

xgboost.XGBClassifier(max_depth=3, learning_rate=0.1, n_estimators=100, verbosity=1, objective='binary:logistic',
				booster='gbtree', tree_method='auto',n_jobs=1, gpu_id=-1, gamma=0,min_child_weight=1,
				max_delta_step=0, subsample=1, colsample_bytree=1, colsample_bylevel=1,colsample_bynode=1,
				reg_alpha=0,reg_lambda=1,scale_pos_weight=1,base_score=0.5,random_state=0,missing=None,**kwargs)
1
2
3
4

参数配置

以数据集为例的代码实现

使用到的函数

• 载入数据：load_digits()
• 数据拆分：train_test_split()
• 建立模型：XGBClassifier()
• 模型训练：fit()
• 模型预测：predict()
• 性能度量：accuracy_score()
• 特征重要性：plot_importance()

实例

# 导入库
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from xgboost import XGBClassifier
from xgboost import plot_importance
 
### 载入数据
digits = datasets.load_digits()
 
### data analysis
print(digits.data.shape)
print(digits.target.shape)
 
### 划分训练集测试集
x_train,x_test,y_train,y_test = train_test_split(digits.data, digits.target, test_size = 0.3,random_state = 33)
### 训练模型
model = XGBClassifier(learning_rate=0.1,
                      n_estimators=100,         # 树的个数--100棵树建立xgboost
                      max_depth=6,               # 树的深度
                      min_child_weight = 1,      # 叶子节点最小权重
                      gamma=0.,                  # 惩罚项中叶子结点个数前的参数
                      subsample=0.8,             # 随机选择80%样本建立决策树
                      colsample_btree=0.8,       # 随机选择80%特征建立决策树
                      objective='multi:softmax', # 指定损失函数
                      scale_pos_weight=1,        # 解决样本个数不平衡的问题
                      random_state=27            # 随机数
                      )
# 拟合
model.fit(x_train, y_train, eval_set = [(x_test,y_test)], eval_metric = "mlogloss", early_stopping_rounds = 10,
          verbose = True)
 
### 特征重要性
fig,ax = plt.subplots(figsize=(15,15))
plot_importance(model, height=0.5, ax=ax, max_num_features=64)
plt.show()
 
### 预测
y_pred = model.predict(x_test)
 
### 模型正确率
accuracy = accuracy_score(y_test,y_pred)
print("准确率: %.2f%%" % (accuracy*100.0))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

准确率

(1797, 64)   #数据总共1797条，每条64个变量
(1797,)      #目标值个数对应数据条数
准确率: 95.37%
1
2
3

特征重要性图

简单来说：f21变量有最高的特征重要性。

交叉验证

这里使用 xgboost 库自带的函数 xgb.cv，实现方式如下：

xgb.cv(params = list(), data, nrounds, nfold, label = NULL, missing = NA, prediction = FALSE, showsd = TRUE,
	metrics = list(), obj = NULL, feval = NULL, stratified = TRUE, folds = NULL, verbose = TRUE
	print_every_n = 1L, early_stopping_rounds = NULL, maximize = NULL, callbacks = list(), ...
1
2
3

参数配置

使用交叉验证获取最好的参数

import xgboost as xgb

xgb_param = model.get_xgb_params()
xgtrain = xgb.DMatrix(x_train, label=y_train)
cvresult = xgb.cv(xgb_param, xgtrain, num_boost_round=5000, nfold=5, metrics=['mlogloss'], 
     early_stopping_rounds=50, stratified=True, seed=1301)
#交叉验证后最好的树
print('Best number of trees = {}'.format(cvresult.shape[0]))
model.set_params(n_estimators=cvresult.shape[0])#把model的参数设置成最好的树对应的参数
# 下面进行相同方式的结果展现
fig,ax = plt.subplots(figsize=(15,15))
plot_importance(model, height=0.5, ax=ax, max_num_features=64)
plt.show()
 
### 预测
y_pred = model.predict(x_test)
 
### 模型正确率
accuracy = accuracy_score(y_test,y_pred)
print("准确率: %.2f%%" % (accuracy*100.0))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

交叉验证结果

850 rows × 4 columns

准确率

准确率: 95.74%
1