自然语言处理（NLP）基础知识——机器翻译Metrics（PPL、BLEU、ROUGE）

Metrics for Neural Machine Translation

机器翻译评价指标

Perplexity（PPL）

困惑度

• 用于衡量一个分布的不确定性，对于离散随机变量$X\in \mathcal{X}$，其概率分布为$p(x)$，困惑度为

  $$2^{H(p)}=2^{-{\sum }_{x\in x}p(x){\log }_{2}p(x)}$$
  其中$H(p)$为分布$p$的熵

• 也可用于衡量两个分布之间的差异，对于一个未知的数据分布$p_r(x)$和一个模型分布$p_{\theta }(x)$，我们从$p_r(x)$中采样出一组测试样本$x^{(1)},\cdots ,x^{(N)}$，模型分布$p_{\theta }(x)$的困惑度为

  $$2^{H\left(p_r,p_{\theta }\right)}=2^{-\frac{1}{N}{\sum }_{n=1}^N{\log }_2{p}_{\theta }\left(x^{(n)}\right)}$$
  其中$\mathbf{H}\left({\tilde{p}}_r,p_{\theta }\right)$为样本的经验分布${\tilde{p}}_r$与模型分布$p_{\theta }$之间的交叉熵

  • 困惑度可以衡量模型分布与样本经验分布之间的契合程度。困惑度越低则两个分布越接近。因此，模型分布$p_{\theta }(x)$的好坏可以用困惑度来评价

• 假设测试集合有$N$个独立同分布的序列${\left\{{\mathbf{x}}_{1:T_n}^{(n)}\right\}}_{n=1}^N$。我们可以用模型$p_{\theta }(x)$对每个序列计算其概率$p_{\theta }\left(x_{1:T_n}^{(n)}\right)$，整个测试集的联合概率为

  $$\prod _{n=1}^N{p}_{\theta }\left({\mathbf{x}}_{1:T_n}^{(n)}\right)=\prod _{n=1}^N\prod _{t=1}^{T_n}{p}_{\theta }\left(x_t^{(n)}\mid {\mathbf{x}}_{1:(t-1)}^{(n)}\right)$$

  • 模型$p_{\theta }(x)$的困惑度定义为

  PPL ⁡ ( θ ) − 2 − 1 τ ∑ n = 1 N log ⁡ 2 p θ ( x 1 : T n ( n ) ) = 2 − 1 T ∑ n = 1 N ∑ t = 1 T n log ⁡ 2 p θ ( x t ( n ) ∣ x 1 : ( t − 1 ) ( n ) ) = ( ∏ n = 1 N ∏ t = 1 T n p θ ( x t ( n ) ∣ x 1 : ( t − 1 ) ( n ) ) ) − 1 / T

  $$\begin{aligned} \operatorname{PPL}(\theta) &-2^{-\frac{1}{\tau} \sum_{n=1}^{N} \log _{2} p_{\theta}\left(x_{1: T_{n}}^{(n)}\right)} \\ &=2^{-\frac{1}{T} \sum_{n=1}^{N} \sum_{t=1}^{T_{n}} \log _{2} p_{\theta}\left(x_{t}^{(n)} \mid x_{1:(t-1)}^{(n)}\right)} \\ &=\left(\prod_{n=1}^{N} \prod_{t=1}^{T_{n}} p_{\theta}\left(x_{t}^{(n)} \mid x_{1:(t-1)}^{(n)}\right)\right)^{-1 / T} \end{aligned}$$ PPL(θ)​−2−τ1​∑n=1N​log2​pθ​(x1:Tn​(n)​)=2−T1​∑n=1N​∑t=1Tn​​log2​pθ​(xt(n)​∣x1:(t−1)(n)​)=(n=1∏N​t=1∏Tn​​pθ​(xt(n)​∣x1:(t−1)(n)​))−1/T​
  其中$T={\sum }_{n=1}^N{T}_n$为测试数据集中序列的总长度。测试集中所有序列的概率越大，困惑度越小，模型越好

BLEU

Bilingual Evaluation Understudy

• BLEU是一种衡量模型生成序列和参考序列之间的N元词组（N-Gram）重合度的算法

• 令$x$为从模型分布$p_{\theta }$中生成的一个候选（Candidate）序列，${\mathbf{s}}^{(1)},\cdots ,{\mathbf{s}}^{(K)}$为从真实数据分布中采集的一组参考（Reference）序列，$\mathcal{W}$为从生成的候选序列中提取所有N元组合的集合，这些N元组合的精度（Precision）

  $$P_N(\mathbf{x})=\frac{{\sum }_{w\in \mathcal{W}}\min \left(c_w(\mathbf{x}),{\max }_{k=1}^K{c}_w\left({\mathbf{s}}^{(k)}\right)\right)}{{\sum }_{w\in \mathcal{W}}{c}_w(\mathbf{x})}$$
  其中$c_w(x)$是N元组合$w$在生成序列$x$中出现的次数，$c_w(s^{(k)})$是N元组合$w$在参考序列$s^{(k)}$中出现的次数。N元组合的精度$P_N(x)$计算生成序列中的N元组合有多少比例在参考序列中出现

• 由于精度只衡量生成序列中的N元组合是否在参考序列中出现，生产序列越短，其精度会越高，因此引入长度惩罚因子（Brevity Penalty）。如果生产序列的长度短于参考序列，就对其进行惩罚

  b ( x ) = { 1  if  l x > l s exp ⁡ ( 1 − l s / l x )  if  l x ≤ l s b(\boldsymbol{x})=\left\{

  $$\begin{array}{ccc} 1 & \text { if } & l_{x}>l_{s} \\ \exp \left(1-l_{s} / l_{x}\right) & \text { if } & l_{x} \leq l_{s} \end{array}$$ \right. b(x)={1exp(1−ls​/lx​)​ if  if ​lx​>ls​lx​≤ls​​
  其中$l_x$为生成序列$x$的长度，$l_s$为参考序列的最短长度

• BLEU是通过计算不同长度的N元组合（N=1，2，3…）的精度，并进行几何加权平均得到

  $$\mathrm{BLEU}-\mathrm{N}(\mathbf{x})=b(\mathbf{x})\times \exp \left(\sum _{N=1}^{N^{\prime }}{\alpha }_N\log P_N\right)$$
  其中，$N^{\prime }$为最长N元组合的长度，${\alpha }_N$为不同N元组合的权重，一般设为$\frac{1}{N^{\prime }}$。BLEU的值域为$[0,1]$，越大表明生成的质量越好。但是BLEU算法只计算精度，而不关心召回率。

ROUGE

Recall-Oriented Understudy for Gisting Evaluation

• ROUGE和BLEU算法类似，但ROUGE计算的是召回率

• 令$x$为从模型分布$p_{\theta }$中生成的一个候选序列，${\mathbf{s}}^{(1)},\cdots ,{\mathbf{s}}^{(K)}$为从真实数据分布中采样出的一组参考序列，$\mathcal{W}$为从参考序列中提取N元组合的集合，ROUGE-N算法定义为

  $$ROUGE-N(\mathbf{x})=\frac{{\sum }_{k=1}^K{\sum }_{w\in \mathcal{W}}\min \left(c_w(\mathbf{x}),c_w\left(s^{(k)}\right)\right)}{{\sum }_{k=1}^K{\sum }_{w\in \mathcal{W}}{c}_w\left({\mathbf{s}}^{(k)}\right)}$$
  其中$c_w(x)$是N元组合$w$在生成序列$x$中出现的次数，$c_w(s^{(k)})$是N元组合$w$在参考序列$s^{(k)}$中出现的次数