XGBoost的基础思想与实现_xgboost enable_categorical

目录

1. XGBoost VS 梯度提升树

1.1 XGBoost实现精确性与复杂度之间的平衡

1.2 XGBoost极大程度地降低模型复杂度、提升模型运行效率

1.3 保留了部分与梯度提升树类似的属性

2. XGBoost的sklearnAPI实现

2.1 sklearn API 实现回归

2.2 sklearn API 实现分类

 3. XGBoost回归的原生代码实现

4. XGBoost分类的代码实现

4.1 二分类

4.2 多分类 

        极限提升树XGBoost(Extreme Gradient Boosting，XGB)是基于梯度提升树GBDT全面升级的新一代提升算法，也是提升家族中最富盛名、最灵活、最被机器学习竞赛所青睐的算法。XGBoost是一个以提升树为核心的算法系统，它覆盖了至少3+建树流程、10+损失函数，可以实现各种类型的梯度提升树。同时，XGBoost天生被设计成支持巨量数据，因此可以自由接入GPU/分布式/数据库等系统、还创新了众多工程上对传统提升算法进行加速的新方法。

作为Boosting算法，XGBoost中自然包含Boosting三要素：

        ① 损失函数