这个屌丝很懒，什么也没留下！

信息熵的计算公式_知识卡片信息熵

作者：IT小白 | 2024-06-27 21:52:11

前言：本文讲解了机器学习需要用到的信息论中关于信息熵的知识，并用代码演示如何计算信息熵和互信息。

信息熵 Information Entropy

信息论中的熵(entropy)

log(1/p)的图像如下，是单调递减函数，不确定性越大，事件发生的概率越小。需要指出的是，H(U)式子中的对数是以2为底数，信息熵的单位是比特；在sklearn中，以自然对数e为底。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/763916

信息熵的计算公式_知识卡片 信息熵