自然语言处理（八）——语言模型性能评价_针对选择的算法模型,对自然语言处理系统模型、算法或系统的性能进行评估。设计系

一、概念

信息熵：熵这个概念是香农从热力学中引进的，热力学中的熵是代表分子状态混乱程度，在信息论中熵又称为自信息，可以视为描述一个随机变量的不确定性的数量。它表示信源X每发一个符号(不论发什么符号)所提供的平均信息量。一个随机变量的熵越大,它的不确定性越大，那么，正确估计其值的可能性就越小。越不确定的随机变量越需要大的信息量用以确定其值。

这是宗成庆老师的书《统计自然语言处理》里面的解释，光看这些高深莫测的话，我反正是一知半解，举一个例子来解释一下

明天的太阳仍然升起，这个事件发生的概率极其大，因此这件事的不确定性就很小，所以这件事所对应的熵很小，这件事的判断根本不需要其他信息，我们不需要看SCI论文，不需要查阅太阳的资料。所以熵越小，不确定性越小，我们所需要的信息就少。再比如明天下雨这个事件，这个的不确定性就比较大，气象站就需要通过观测云量，温度等信息来确定这个事件发生的概率。显而易见，这个事件的熵就会变大。以上就是关于熵的阐述，那么熵的大小到底怎么计算，自然也有公式：

H(x) =—（$\sum_{}^{x\in R}$$P\left (x \right )$${log_{2}} P(x)$