很楠不爱3

这个屌丝很懒，什么也没留下！

热门标签

【机器学习】机器学习实验方法与原则（统计有效性检验详解）

作者：很楠不爱3 | 2024-03-25 16:27:19

踩

统计有效性检验

假设的评估检验：问题1

• 效果估计

• 给定一个假设在有限量数据上的准确率

• 该准确率是否能准确估计在其它未见数据上的效果？

假设的评估检验：问题2

• h 1 在数据的一个样本集上表现优于 h 2

• h 1 总体上更好的概率有多大？

抽样理论基础

二项分布 (Binomial Distribution)

二项分布的应用场景

• 两个可能的输出 ( 成功 / 失败 ) ( Y =0 或 Y =1)

• 每次尝试成功的概率相等 Pr ( Y = 1) = p , 其中 p 是一个常数

• n 次独立尝试

• 随机变量 Y 1 ,…, Y n ，

• iid (independent identically distribution ，独立同分布 )

• R : 随机变量 , n 次尝试中 Y i = 1 的次数 ,

• Pr(R = r ) ~ 二项分布

• 平均 ( 期望值 ): E [ R ], µ

• 二项分布 : µ = np

估计假设准确率 – Q1.1解答

估计的两个重要性质

• 估计 偏差（Bias）

• 如果 S 是训练集, errorS ( h ) 是有偏差的（偏乐观），

bias ≡ E[ error S ( h ) ] - error D ( h )

• 对于无偏估计( bias =0), h 和 S 必须独立不相关地产生

→ 不要在训练集上测试！

• 估计 方差（Varias）

• 即使是 S 的无偏估计, error S ( h ) 可能仍然和 error D ( h ) 不同

• E.g. 之前的例子 (3.2% vs. 6.5%)

• 需要选择无偏的且有最小方差的估计

估计假设准确率 – Q1.2解答

准确率的估计可能包含多少错误？

( error S ( h ) 对 error D ( h ) 的估计有多好 ?)

• 抽样理论 : confidence interval ( 置信区间 )

• 定义 :

• 参数 p 的 N % 置信区间是一个以 N % 的概率包含 p 的区间 , N % : 置信度

✓ 90.0% 的置信度，年龄： [12, 24]

✓ 99.9% 的置信度，年龄： [3, 60]

置信度与置信区间

• 如何得到置信区间 ?

• 坏消息 : 对二项分布来说很难

• 好消息 : 对正态分布来说很简单

• 通过正态分布的某个区间

（面积）来获得

正态分布 & 二项分布

• 如果满足以下条件，估计更准确：

• S 包含 n >= 30 个样本 , 与 h 独立产生，且每个样本独立采样

• 那么有大约 95% 的概率

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/311104