XGBoost和GBDT的优缺点及XGBoost可并行的原因。_xgboost相较于gbdt优点

xgboost优点主要有：

1）防止过拟合
传统的GBDT是以CART作为基分类器，xgboost除了以cart还支持线性分类器，这个时候XGBOOST相当于带L1和L2正则化的逻辑斯蒂回归（分类问题）或者线性回归（回归问题），并且还支持hadoop分布式计算。xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score是L2模的平方和。使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。
2）求导
传统的GBDT在优化的hih只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数,而不是像GBDT里的就是一阶导数；
3）高度的灵活性
XGBoost允许用户定义自定义优化目标和评价标准，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。
4）节点分裂的方式不同
GBDT是用的基尼系数，XGBoost是经过优化推导后的。Shrinkage（缩减），相当于学习速率。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了消弱每棵树的影响，让后面有更大的学习空间。在实际应用中，一般把学习率设置的小一点，然后迭代次数设置的大一点（补充：传统GBDT的实现也有学习速率）
5）列抽样。
xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算。
6）缺失值处理
XGBoost内置处理缺失值的规则。用户需要提供一个和其它样本不同的值，然后把它作为一个参数传进去，以此来作为缺失值的取值。XGBoost在不同节点遇到缺失值时采用不同的处理方法，并且会学习未来遇到缺失值时的处理方法。对于特征的值有缺失的样本，xgboost可以自动学习出她的分裂方向。
7）内置交叉验证
XGBoost允许在每一轮boosting迭代中使用交叉验证。因此，可以方便地获得最优boosting迭代次数。而GBM使用网格搜索，只能检测有限个值。
8) xgboost工具支持并行。
boosting不是一种串行的结构吗？怎么并行的？
注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完成才能进行下一次迭代的（第t次迭代的代价函数里面包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行排序，然后保存block结构，后面的迭代中重复的使用这个结构，大大减小计算量。这个block结构也使得并行称为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。为了降低排序成本，xgboost将数据存储在内存单元中，我们称之为块（block）。每个块中的数据以压缩列（CSC）格式存储，每列按相应的特征值排序。此输入数据布局仅需要在训练之前计算一次，并且可以在以后的迭代中重复使用，大大的减少了计算量。这个block结构使得并行变成了可能。XGBoost 也支持Hadoop实现。
9）可并行的近似值方图算法。
树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点。