当前位置:   article > 正文

【机器学习】如果你发现你的GBDT模型过拟合了?该从那个参数入手?—降低学习率_过拟合学习率怎么调整

过拟合学习率怎么调整

总结的Boosting的参数如下:

在这里插入图片描述

Gradient Boosted(-ing) Decision Tree:

  • 构造一系列决策树,每棵树尝试去纠正之前的错误
  • 每棵树学习的是之前所有树的结论和残差,拟合得到一个当前的树。整个迭代过程生成的树的累加就是GBDT
  • 学习率决定新的树去纠正错误的程度:
  1. 高学习率:生成复杂的树
  2. 低学习率:生成简单的树

学习率降低,会缩小每棵树的贡献,让每棵树都不要太强。

因此,当我们的GBDT模型发生过拟合的时候,可以尝试降低学习率!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/547232
推荐阅读
相关标签
  

闽ICP备14008679号