结构风险最小化(Structural Risk Minimization, SRM)

作者：Gausst松鼠会 | 2024-04-02 10:53:15

踩

统计学中的结构风险最小化 (srm) 理论

1、定义

　　统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。

2、经验风险与真实风险的关系

　　统计学习理论系统地研究了对于各种类型的函数集,经验风险和实际风险之间的关系。得出如下结论：对指示函数集中的所有函数(包括使经验风险最小的函数), 经验风险和实际风险之间以至少的概率满足如下关系：

　　其中h是函数集的VC维,n是样本数.

　　这一结论从理论上说明了学习机器的实际风险是由两部分组成的:一是经验风险(训练误差),另一部分称作置信范围,它和学习机器的VC维及训练样本数有关。

　　上式可以简单地表示为：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/351948