GBDT (Gradient Boosting Decision Tree)_gbdt算法中的关键就是利用损失函数的负梯度作为残差的近似值

背景

GBDT是BT的一种改进算法。然后，Friedman提出了梯度提升树算法，关键是利用损失函数的负梯度作为提升树残差的近似值。 当使用平方损失时，负梯度就是残差。

算法模型

树模GBDT初始化$c$为所有标签的均值，即$f_0(x)$。
学习完第一棵树：
$${{\rm Y}}_{j1}=\underset{{\rm Y}}{\underbrace{\arg \min }}\sum _{x_i\in R_{j1}}L\left(y_i,f_0\left(x_i\right)+{\rm Y}\right)$$
${{\rm Y}}_{j1}$中的$1$表示第一颗树。GBDT已知${\rm Y}$， 然后最小化这个值求树的划分。使损失最小的树的划分。
学习完所有树：
$$f(x)=f_M(x)=f_0(x)+lr\ast \sum _{m=1}^M\sum _{j=1}^J{{\rm Y}}_{jm}I\left(x\in R_{jm}\right)$$
使用$lr$可以防止过拟合。${{\rm Y}}_{jm}$是叶子节点的值，$I$表示预测值是否属于这个节点，属于为1，不属于为0。$f_0(x)$是一个基(标签的均值)，后续学的都是残差。1和0的计算需要将样本带入树中计算得到。叶子节点的数值表示残差值。树的数量是通过不断迭代产生的。

参考资料

https://blog.csdn.net/zpalyq110/article/details/79527653(GBDT案例介绍)
https://www.cnblogs.com/always-fight/p/9400346.html
https://www.cnblogs.com/ModifyRong/p/7744987.html