- 1Gogs - 一款极易搭建的自助 Git 服务
- 2Android用itext生成含中文的PDF文档_android itextpdf.text.pdf
- 3微信小程序实现骨架屏和图片懒加载_4实验：分析 Pytorch 框架中 train_dataloader 的数据结构
- 5三层交换机实验（eNSP）_ensp三层交换机和路由器
- 6元学习：Meta-Learning in Neural Networks: A Survey
- 7微软ChatGPT技术的底层支撑——GPU_chatgpt怎么控制三万个gpu
- 8鸿蒙开发实例 | ArkUI JS飞机大战游戏开发_鸿蒙版飞机大战
- 9解决AndroidStudio无法连接华为手机(安卓10)问题_android studio 华为荣耀畅玩50 连不上
- 10找出素数并升序排列c语言,升序素数和降序素数 - 编程擂台 - 数学研发论坛 - Powered by Discuz!...
人工智能算法—决策树_ai决策树
赞
踩
文/腾讯soso 林世飞
决策树方法最早产生于上世纪60年代，到70年代末。由J Ross Quinlan提出了ID3算法，此算法的目的在于减少树的深度。但是忽略了叶子数目的研究。C4.5算法在ID3算法的基础上进行了改进，对于预测变量的缺值处理、剪枝技术、派生规则等方面作了较大改进，既适合于分类问题，又适合于回归问题
这里 介绍其基本原理 和一个实验例子。
先介绍2个算法：
算法一：熵（entropy）
熵（entropy）指的是体系的混乱的程度，当我们尝试把混合集合A={B1,B2,C1,C2…..} （其中Bx表示一个类别的元素，Cx表示另外一个） 划分为2个集合 M、N（即决策树的2个分支时候），比较好的划分是 M 里面都是 Bx，N里面都是Cx，这时候我们需要一个函数对 划分以后 的 集合进行评估，看看是否纯度 够“纯”。如果很纯，很有序，熵就是0.
理解该公式： p(xi) 越平均，系统约混乱，如果系统只有2个元素x1、x2，x1出现概率是0.5，x2出现概率也是0.5，即p(x1) =0.5 p(x2) =0.5 ，这时公式计算结果为1； p(xi)如果比较不平均，比如p(x2) =1，那就是系统很确定，一点都不混乱，肯定是x2构成，这时熵计算结果就是0.
这个规律刚刚好是 log 函数特点 过（1，0）这个点（见下图），我想这个就是克劳德·艾尔伍德·香农设计这个公式选择log函数的道理。
用python 实现就是 ：
def entropy(l):
from math import log
#函数编程语法，定义一个函数
log2=lambda x:log(x)/log(2)
total=len(l)
counts={}
#统计每个类型出现格式
for item in l:
counts.setdefault(item,0)
counts[item]+=1
ent=0
for i in counts:
p=float(counts[i])/total #计算概率
ent-=p*log2(p) #熵计算
return ent
算法二：除了 熵，还有一个衡量一个集合是否混乱的方法叫 Gini Impurity （基尼不纯度）方法。
公式如下：
