机器学子之集成分类算法

一、构建决策树的基本算法：
ID3算法：使用信息增益进行特征选择
C4.5算法：使用信息增益率进行特征选择，克服了信息增益选择特征的时候偏向于特征个数较多的不足
CART算法：分类回归树，属于二叉树，既可用于分类，分类树用到基尼系数最小化原则，也可以用于回归预测，回归树用平方差最小准则。依据损失函数最小标准进行树的剪枝，防止过拟合。

二、集成学习算法分为两种

第一种：在相同训练数据中随机选取特征来同时搭建多个独立的分类模型，通过投票的方式，以少数服从多数的为原则选出最优分类决策

Bagging：样本随机
Bagging算法首先采用M轮自助采样法，获得M个包含N个训练样本的采样集。然后，基于这些采样集训练出一个基学习器。最后将这M个基学习器进行组合。组合策略为：
分类任务采用简单投票法：即每个基学习器一票
回归问题使用简单平均法：即每个基学习器的预测值取平均值

随机森林：样本随机、特征属性随机
随机森林在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树训练过程中对特征属性进行随机选择。
随机森林中两个可控参数：
森林中树的数量(一般取值较大)
抽取属性值的大小
随着学习器数目增加，随机森林会收敛于更低的泛化误差。随机森林有点如下：
（1）分类结果更加准确
（2）可以处理高维度的属性，并且不用做特征选择
（3）即使