推荐系统之GBDT+LR

前言

前面讲过的FM与FFM模型虽然增强了模型的交叉能力，但是不管怎样都只能做二阶的交叉，如果想要继续加大特征交叉的维度，那就会出大计算爆炸的情况。所以Facebook提出了梯度提升树（GBDT）+逻辑回归（LR）的模型，具体来说首先利用GBDT自动将特征进行筛选和组合，进而生成新的离散特征向量，然后再把特征向量当作LR模型输入，从而预估CTR。关于逻辑回归（LR）的部分前面已经讲过了，这里具体的讲一下GBDT这个大家伙。在讲解之前先看一章图来了解一下传统推荐模型的进化关系图，讲完这一章传统的推荐算法模型就基本告一段落了，这个图中出现的所有模型都已经一一被讲解过了，大家可以看我主页来进行了解。

 一、GBDT模型

GBDT全称梯度提升决策树，在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一，即可以用于分类也可以用于回归还可以筛选特征。这个算法非常重要， 现在机器学习算法最常用的XGBOOST，Lightgbm， catboost这几大巨头算法都是基于这个算法的基础上进行发展起来的。介绍GBDT之前我觉得有必要先介绍一些BDT，这是以CART决策树为基学习器的集成学习方法， 关于集成学习，我还会写文章来进行介绍。

（1）BDT

首先提升树模型可以理解为多个决策数的加法：

 其中函数T()代表决策树，M表示树的个数，提升树采用的是向前分布算法，首先确定提升树​，第m步的模型是：

 通过将损失函数极小化来确定下一颗树的参数。在这里总结一下回归算法选择的损失函数一般是均方差或者绝对值误差;而在分类算法中一般的损失函数选择对数函数来表示。

 这里借用一下一位大佬的总结：

boosting方法之前已经提到过， 是由多个弱学习器进行组合得到的一个