熵，条件熵，信息增益，信息增益比, gini系数以及交叉熵，相对熵计算公式_条件熵计算公式

作者：寸_铁 | 2024-06-27 21:35:10

踩

条件熵计算公式

熵越大，不确定性越大

熵： $H(X)=E[-log{p_k}]=-\sum_k{p_k \log{p_k}}$

信息增益，就是给定条件前的熵减去给定条件后的熵，看熵减少多少

条件熵： $H(X|Y)=\sum_y{p_Y(y) H(X|Y=y)}$
信息增益： $g (X, Y) = H (X) - H (X ∣ Y)$

使用信息增益容易选择特征值多的那些特征，改进成信息增益比

信息增益比： $g_r(X,Y)=\frac{H(X)-H(X|Y)}{H(X)}$

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/寸_铁/article/detail/763841

熵，条件熵，信息增益，信息增益比, gini系数 以及 交叉熵，相对熵 计算公式_条件熵计算公式