评估指标（Metric）（三）_perplexity metric

Perplexity，中文翻译为困惑度，是信息论中的一个概念，其可以用来衡量一个随机变量的不确定性，也可以用来衡量模型训练的好坏程度。通常情况下，一个随机变量的Perplexity数值越高，代表其不确定性也越高；一个模型推理时的Perplexity数值越高，代表模型表现越差，反之亦然。

随机变量概率分布的困惑度

对于离散随机变量 $X$​，假设概率分布可以表示为 $p(x)$​​​，那么对应的困惑度为：$$2^{H(p)}=2^{-{\sum }_{x\in X}p(x)lo{g}_{2}p(x)}$$其中，$H(p)$ 为概率分布 $p$ ​​的熵。可以看到，一个随机变量熵越大，其对应的困惑度也就越大，随机变量的不确定性也就越大。

模型分布的困惑度

困惑度也可以用来衡量模型训练的好坏程度，即衡量模型分布和样本分布之间的差异。一般来讲，在模型的训练过程中，模型分布越接近样本分布，模型训练得也就越好。

假设现在有一批数据 $x_1,x_2,x_3,...,x_n$，其对应的经验分布为 $p_r(x)$。现在我们根据这些样本成功训练出了一个模型 $p_{\theta }(x)$，那么模型分布 $p_{\theta }(x)$ ​​​​的好坏可以由困惑度进行定义：$$2^{H(p_r,p_{\theta })}=2^{-{\sum }_i^n{p}_r(x_i)lo{g}_2{p}_{\theta }(x_i)}$$其中，$H(p_r,p_{\theta })$ 表示样本的经验分布 ${\tilde{p}}_r$和模型分布 $p_{\theta }$之间的交叉熵。假设每个样本 $xi$ 的生成概率是相等的，即 $p_r(x_i)=\frac{1}{n}$，则模型分布的困惑度可简化为：$$2^{H(p_r,p_{\theta })}=2^{-\frac{1}{n}{\sum }_i^{n}lo{g}_2{p}_{\theta }(x_i)}$$

NLP领域中的困惑度

在NLP领域，语言模型可以用来计算一个句子的概率，假设现在有这样一句话 $s=w_1,w_2,w_3,...,w_n$, 我们可以这样计算这句话的生成概率： p ( x ) = p ( w 1 , w 2 , . . . , w n ) = ∏ i = 1 n p ( w i ∣ w 1 , w 2 , . . . , w i − 1 )

$$\begin{aligned} p(x)&=p(w_1,w_2,...,w_n)\\ &=\displaystyle \prod^n_{i=1}p(w_i|w_1,w_2,...,w_{i-1})\end{aligned}$$ p(x)​=p(w1​,w2​,...,wn​)=i=1∏n​p(wi​∣w1​,w2​,...,wi−1​)​在语言模型训练完成之后，如何去评判语言模型的好坏？这时，困惑度就可以发挥作用了。一般来讲，用于评判语言模型的测试集均是合理的、高质量的语料，只要语言模型在测试集上的困惑度越高，则代表语言模型训练地越好，反之亦然。

在了解了语句概率的计算后，则对于语句 $s=w_1,w_2,w_3,...,w_n$​​，其困惑度可以这样来定义： p e r p l e x i t y = p ( s ) − 1 n = p ( w 1 , w 2 , . . . , w n ) − 1 n = 1 p ( w 1 , w 2 , . . . , w n ) n = ∏ i = 1 n 1 p ( w i ∣ w 1 , w 2 , . . . , w i − 1 ) n

$$\begin{aligned} perplexity&=p(s)^{- \frac 1 n} \\ &=p(w_1,w_2,...,w_n)^{- \frac 1 n} \\ &=\sqrt[n]{\frac {1} {p(w_1,w_2,...,w_n)}} \\ &=\sqrt[n]{\displaystyle \prod^n_{i=1}\frac 1 {p(w_i|w_1,w_2,...,w_{i-1})}} \end{aligned}$$ perplexity​=p(s)−n1​=p(w1​,w2​,...,wn​)−n1​=np(w1​,w2​,...,wn​)1​ ​=ni=1∏n​p(wi​∣w1​,w2​,...,wi−1​)1​ ​​显然，测试集中句子的概率越大，困惑度也就越小。