金融业信贷风控算法7-分类场景之决策树和随机森林_金融风控经典算法

一. 决策树的基本概念

1.1 树模型

树的特点：

1. 1个根节点
2. 若干个叶子结点
3. 若干个非叶子结点
4. 具有层次性：根节点只有子节点，没有父节点；叶子结点只有父节点，没有子节点；非叶结点同时具有父、子节点
5. 除根节点外，每个节点有且仅有一个父节点

1.2 决策树的定义

以X1<= t1为例，左边是满足条件的，右边是不满足条件的，下同。

一个树结构（二叉树或非二叉树）的分类器，其每个非叶节点表示一个特征属性上的判断，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。

使用决策树进行决策的过程就是从根节点开始，判断待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。

1.3 决策树的结构

**根节点：**第一个被分裂的特征。一个决策树中只有一个根节点
**叶节点：**输出决策的结果
**内部节点：**除了根节点和叶节点之外的其他节点
**路径：**从根节点到某个叶节点的唯一的联通道路，且路径上的节点（除叶节点外）是不能有重复的离散特征的。每一个可能的样本都能找到对应的并且是唯一的路径。

1.4 决策树的几种常见实例

1. ID3决策树
2. C4.5决策树
3. CART分类（回归）树

1.4 决策树的优缺点

决策树的优点:

1. 能够处理数值和非数值属性
2. 对数值属性的极端值不敏感
3. 对属性的线性相关性不敏感
4. 可以自动处理缺失值
5. 很高的可解释性
6. 可以用于多分类场景

决策树的缺点:

1. 结构过于简单，分类精度不是很高
2. 不支持增量训练
3. 在属性选择、属性分裂时，无法纳入属性间的交互性

二. 决策树的构造

2.1 决策树的构造：分而治之（divide and conquer）

决策树是典型的局部与整体存在相似性的模型，即任意一条路径中，任意一个内部节点都形成以它为根节点的“子决策树”。对于这样形态的模型，高效、可行的构造方法就是分而治之。步骤如下：
输入：数据集