吴恩达机器学习笔记二十九树的增强 XGBoost 极端梯度提升什么时候使用决策树决策树和神经网络的比较

作者：Gausst松鼠会 | 2024-03-30 23:50:16

踩

增强树：和随机森林类似，但再抽取时每个样本被抽到的概率不是相同的，而是让算法更容易选到使之前训练的树错误分类的样本。这种方式被称为刻意练习(deliberate practice)，相当于把做的不好的部分再拿出来练习一遍。

XGBoost（extreme Gradient Boosting，极端梯度提升）

1. 一种增强树的开源实现

2. 实施起来快

3. 有一套很好的关于分裂和停止分裂的标准

4. 内置正则化来防止过拟合

5. 在机器学习比赛中赢得很多

用 XGBoost 解决分类和回归问题的代码

决策树和神经网络的比较

决策树（包括树集合）

1. 决策树更适合结构化的数据（类似表格之类的）；

2. 不建议在非结构化的数据（如图像、音频、文本）上使用决策树；

3. 决策树训练起来很快

4. 一个小的决策树可以人力解释

神经网络

1. 神经网络适用于所有类型的数据，包括结构化的和非结构化的

2. 可能比决策树慢

3. 神经网络可以更方便地连接起来组成一个更大的模型

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/342371

吴恩达机器学习笔记 二十九 树的增强 XGBoost 极端梯度提升 什么时候使用决策树 决策树和神经网络的比较