搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
在线问答5
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
ChatGPT深度科研应用、数据分析及机器学习、AI绘图与高效论文撰写_chathpt最新进展
2
【目标检测系列】目标检测算法综述
3
vue3 + ts 调用高德API踩坑记录_vue3 ts amap
4
若依框架生成Echarts柱状图(前后端不分离版本)_若依框架图表
5
遥感图像的辐射畸变与辐射校正_镜头辐射畸变的校正
6
学生管理系统(C语言版)_学生管理系统c语言代码
7
最新扣子(Coze)实战教程:扣子的插件使用,完全免费,快来学习吧~_扣子添加插件 找不到bot
8
【hadoop】 shell 基本命令_xshell切换hadoop目录命令
9
37岁,感觉上班太累,可做这5个生意,年轻人看不上,但却挺赚钱_37岁创业做什么好
10
利用PYTHON读取EXCEL里不同sheet不同表格,并依次放到文档里_python读取工作簿中的多个工作表
当前位置:
article
> 正文
信息熵与Gini不纯度
作者:在线问答5 | 2024-06-27 21:26:42
赞
踩
信息熵与Gini不纯度
1、信息熵
信息论中的
信息量
和
信息熵。
信息量:
信息量是对信息的度量,就跟温度的度量是摄氏度一样,信息的大小跟随机事件的概率有关。
例如: 在哈尔滨的冬天,一条消息说:哈尔滨明天温度30摄氏度,这个事件肯定会引起轰动,因为它发生的概率很小(信息量大)。日过是夏天,“明天温度30摄氏度”可能没有人觉得是一个新闻,因为夏天温度30摄氏度太正常了,概率太大了(信息点太小了)
从这个例子中可以看出 一个随机事件的信息量的大小与其发生概率是成反相关的。
香农定义的一个事件的信息信息量为:I(X) = log2(1/p) 其中p为事件X发生的概率
信息熵:
Entropy
一个随机变量 X 可以代表n个随机事件,对应的随机变为X=xi,
那么熵的定义就是 X的加权信息量。
H(x) = p(x1)I(x1)+...+p(xn)I(x1)
= p(x1)log2(1/p(x1)) +.....+p(xn)log2(1/p(xn))
= -p(x1)log2(p(x1)) - ........-p(xn)log2(p(xn))
其中p(xi)代表xi发生的概率
例如有32个足球队比赛,每一个队的实力相当,那么每一个对胜出的概率都是1/32
那么 要猜对哪个足球队胜出 非常困难,
这个时候的熵H(x) = 32 * (1/32)log(1/(1/32)) = 5
熵也可以作为一个系统的混乱程度的标准
试想如果32个队中有一个是ac米兰,另外31个对是北邮计算机1班队,2班,...31班
那么几乎只有一个可能 ac米兰胜利的概率是100%,其他的都是0%,这个系统的熵
就是 1*log(1/1) = 0.
这个系统其实是有序的,熵很小,而前面熵为5 系统处于无序状态。
2、基尼不纯度
基尼不纯度的大概意思是 一个随机事件变成它的对立事件的概率
例如 一个随机事件X ,P(X=0) = 0.5 ,P(X=1)=0.5
那么基尼不纯度就为
P(X=0)*(1 - P(X=0)) +
P(X=1)*(1 - P(X=1))
= 0.5
一个随机事件Y ,P(Y=0) = 0.1 ,P(Y=1)=0.9
那么基尼不纯度就为P(Y=0)*(1 - P(Y=0)) +
P(Y=1)*(1 - P(Y=1))
= 0.18
很明显 X比Y更混乱,因为两个都为0.5 很难判断哪个发生。而Y就确定得多,Y=0发生的概率很大。而基尼不纯度也就越小。
所以基尼不纯度也可以作为 衡量系统混乱程度的 标准
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/在线问答5/article/detail/763801
推荐阅读
article
mysql
数据库
主要负责
存储
_
mysql
数据库
自带
数据库
介绍...
show databases;查看
mysql
自带
数据库
有information_schema,
mysql
, perfor...
赞
踩
article
《
一文
详解
Mina
Protocol
特性、运作机制与
Coinlist
参与
教程|
CryptoJ
...
从最近居高不下的 Gas 费开始,让大家明显意识到了链上可扩展性的重要性,而其实以太坊的网络问题不止于此,比如全节点存储...
赞
踩
article
数据
结构
进
阶之
栈
_
数据
进
入
栈
是从哪里
进
...
数据
结构
初阶之
栈
,很清晰明了的解释,看完之后大家一定会了解
栈
,并且深入理解
栈
的,萌新一定不要错过哦!!!
_
数据
进
入
栈
是从...
赞
踩
article
MacBook
M1安装
NTFS
磁盘读写工具---kalrry_
paragon
ntfs
for m...
MacBook
M1安装
NTFS
磁盘读写工具---kalrry前言一、修改安全策略二、安装
NTFS
软件1、Omi NTF...
赞
踩
article
Kafka
中的
再
均衡
_
kafka
再
均衡
...
我们先回顾下,一个主题可以有多个分区,而订阅该主题的消费组中可以有多个消费者。每一个分区只能被消费组中的一个消费者消费,...
赞
踩
article
这部
经典之作
,
时隔
六年
迎来重磅升级!...
你好
,
我是坚持分享干货的 EarlGrey
,
翻译出版过《Python编程无师自通》、《Python并行计算手册》等技术书...
赞
踩
article
git:git
pull
失败--Your
local
changes
to the followi...
参考:https://blog.csdn.net/jiangyu1013/article/details/7885254...
赞
踩
article
Transformer
第三节——
ViT
_vit
transformer
预
训练
...
论文:https://arxiv.org/abs/2010.11929代码:
ViT
是
transformer
在CV领域的...
赞
踩
article
Git
分享-规范/
建议
/技巧_
git
版本
管理
流程
规范...
1.
Git
多人协作开发
流程
图;2. 简略的基础;3. 总结操作
流程
;4.
Git
操作;5.
建议
的习惯_
git
版本
管理
...
赞
踩
article
中文
参考文献
的一些内容...
本博客关于
中文
参考文献
的一些内容转载自如下链接:https://wenda.latexstudio.net/articl...
赞
踩
article
分享几个国内
免费
使用
的
gpt
网站
_
免费
gpt
网站
...
对于
免费
用户来说,登录之后每天可以
使用
50次,对于绝大多数用户来说已经够了。并且其内置了GPTs,可以
使用
许多提高工作、...
赞
踩
article
git
常用命令
大全_
git
常用命令
...
这些是 Git 中常用的一些命令,覆盖了版本控制、分支管理、远程仓库操作等多个方面。:从远程仓库拉取最新的变更并合并到本...
赞
踩
article
智慧
飞跃:解锁
大
模型
超级
智能
的
密钥...
随着人工
智能
领域
的
蓬勃发展,
大
模型
——这些拥有庞
大
规模与深度学习能力
的
系统,正逐渐成为推动科技进步与社会变革
的
关键力量。...
赞
踩
article
用户
登录
控制
【
spring
boot
整合
spring
security
】_
spring
boot
用户
...
在前面几个功能的演示过程中,都需要预先使用Spring Security提供的默认
登录
页面和默认
登录
用户
user
登录
认证...
赞
踩
article
Kubernetes
中三种
IP
以及如何
通信
_
pod
ip
service
ip
...
Kubernetes
中三种
IP
以及如何
通信
_
pod
ip
service
ip
pod
ip
service
ip
...
赞
踩
article
git
拉取项目太大失败(超时)_
fetch
-
pack
:
unexpected
disconnect
...
问题通过
git
拉取GitHub上的项目失败报错信息如下
fetch
-
pack
:
unexpected
disconnect
...
赞
踩
article
Elo
顾客忠诚度 ——
kaggle
数据
_
保险客户
数据
集...
前言这个项目来自Kaggle,是
Elo
(巴西最大的本土支付品牌之一)和Kaggle合作的比赛,通过
Elo
的匿名
数据
集预测...
赞
踩
article
大
数据
毕业设计
hadoop
+spark+
hive
动漫
分析
可视化
大
屏
动漫
推荐
系统
漫画
推荐
系统
漫画
...
2018年,张艺丹在《新媒体研究》期刊上发表了《
大
数据
时代下国产
动漫
IP的转型与发展策略的研究》,研究了
大
数据
对国产
动漫
...
赞
踩
article
sql
-my
sql
可视化
工具
Workbench
导入
sql
文件
_my
sql
workbench
怎么运行...
my
sql
可视化
工具
Workbench
导入
sql
文件
1、打开
workbench
2、导入
sql
文件
3、第一行加上库名4、开...
赞
踩
article
科研——
ICONIP
论文
修改和提交
_
iconip
会议
论文
模板
...
ICONIP
说明文档
_
iconip
会议
论文
模板
iconip
会议
论文
模板
...
赞
踩
相关标签
mysql数据库主要负责存储
网络
区块链
比特币
java
人工智能
数据结构
macos
transformer
深度学习
git
latex
chatgpt
算法
面试
gpt
spring
spring boot
kubernetes