梯度提升(Gradient boosting)和GBDT

作者：我家自动化 | 2024-06-28 16:23:59

踩

梯度提升

提升既可以用于分类，也可以用于回归。提升背后的思想是：每一步产生一个弱学习器，通过不断地把若学习器加权累加到总模型当中，来最终得到一个强预测模型。其基本公式如下：

（1）

其中，m为基学习器个数，beta是系数，f 是基学习器，F就是总的模型。我们的最终目的是得到一个优秀的总模型，尽可能的使得损失函数最小，即：

（2）

上面说了，F最终是由多个基学习器加权组成的，所以不可能同时求解。因此，梯度提升使用了一种贪心的算法，在刚开始时࿰

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/766576