语言模型(一) 统计语言模型

1. 什么是语言模型

• 标准定义：对于语言序列$w_1,w_2,\cdots ,w_n$，语言模型(Language Model)就是计算该序列的概率，即$P(w_1,w_2,w_3,\cdots ,w_n)$。
• 从机器学习的角度来看：语言模型是对语句的概率分布的建模。
• 通俗解释：判断一个语言序列是否是正常语句，即是否是人话，例如$P(IamLight)>P(LightIam)$。

2. 统计语言模型

2.1 n-gram语言模型

首先，由概率链式法则可以得到
$$P(w_1,w_2,\cdots ,w_n)=P(w_1)P(w_2|w_1)\cdots P(w_n|w_1,w_2,\cdots ,w_{n-1})$$
如何计算每个词出现的条件概率？答案是极大似然估计（Maximum Likelihood Estimation，MLE），当样本数量足够大时，我们可以近似地用频率来代替概率，在这里我们就是要求我们的语料库要比较大，然后概率用数频数的方法来计算：
$$\begin{gathered} P(w_i|w_{i-1})=\frac{P(w_{i-1}{w}_i)}{P(w_{i-1})}=\frac{C(w_{i-1}{w}_i)}{C(w_{i-1})} \\ \cdots \\ P(w_i|w_{i-1}\cdots w_2{w}_1)=\frac{P(w_1\cdots w_{i-1}{w}_i)}{P(w_1{w}_2\cdots w_{i-1})}=\frac{C(w_1{w}_2\cdots w_i)}{C(w_1{w}_2\cdots w_{i-1})} \end{gathered}$$
其中，$C(\cdot )$表示子序列在训练集中出现的次数。
对于任意长的自然语言语句，直接计算$P(w_i|w_1{w}_2\cdots w_{i-1})$显然不现实。
为了解决这个问题，我们引入马尔可夫假设(Markov assumption)，即假设当前词出现的概率只依赖于前 $n-1$个词，可以得到
$$P(w_i|w_1{w}_2\cdots w_{i-1})=P(w_i|w_{i-n+1}\cdots w_{i-1})$$
基于上式，定义n-gram语言模型如下：

$n=1unigram:P(w_1,w_2,\cdots ,w_n)={\prod }_{i=1}^{n}P(w_i)$

$n=2bigram:P(w_1,w_2,\cdots ,w_n)={\prod }_{i=1}^{n}P(w_i|w_{i-1})$

$n=3trigram:P(w_1,w_2,\cdots ,w_n)={\prod }_{i=1}^{n}P(w_i|w_{i-2},w_{i-1})$

$\cdots$

其中， 当$n>1$时，为了使句首词的条件概率有意义，需要给原序列加上一个或多个起始符$<s>$。可以说起始符的作用就是为了表征句首词出现的条件概率。
好了，以 bigram 为例，现在的序列变成了$<s>,w_1,w_2,\cdots ,w_n$。看到这里，肯定有人会问n-gram中常见的序列形式不应该还有个结束符$</s>$嘛，那结束符又是用来干嘛的呢？

我们使用的一个三句话的微型语料库，且我们需要在这三句话的前后分别加上开始符$<s>$和结束符$</s>$，接下来我们来看语料：

$<s>IamSam</s>$
$<s>SamIam</s>$
$<s>Idonotlikegreeneggsandham</s>$
利用Bi-gram计算各个概率值：
$P(I|<s>)=\frac{2}{3},P(Sam|<s>)=\frac{1}{3},P(am|I)=\frac{2}{3}$
$P(</s>|Sam)=\frac{1}{2},P(Sam|am)=\frac{1}{2},P(do|I)=\frac{1}{3}$
这样我们就完成了Bi-gram各个概率值的计算，整个句子的概率就是挑选出对应的概率相乘即可。这里需要说明一下为什么要在句子前后分别加上开始符$<s>$和结束符$</s>$：目的是为了让以某一词为条件的所有概率加起来是1，从而保证这确实是一个合法的概率分布。例如，对于上面的语料，以$Sam$这个词为例，以$Sam$为开头，排在$Sam$之后的词有$</s>$和$I$，那么他们的概率相加有：$P(I|Sam)+P(</s>|Sam)=\frac{1}{2}+\frac{1}{2}=1$。当然，如果选$I$这个词，不加结束符是没有这个情况。所以，结论是结束符是一定要加的。

2.2 OOV与平滑/回退

在上面的计算过程过会有一个很严重的问题，那就是当我们的语料库有限，大概率会在实际预测的时候遇到我们没见过的词或短语，这就是未登录词（OOV），这样就会造成概率计算的公式中，分子或分母为$0$，毕竟它们都只是频率。分子为$0$的话，整个句子的概率是连乘出来的结果是$0$；分母是$0$的话，数学上就根本没法计算了，这样的问题我们该怎么解决呢？

方法有几种：
平滑（smoothing）：为每个$w$对应的Count增加一个很小的值，目的是使所有的 N-gram 概率之和为 $1$、使所有的 N-gram 概率都不为 $0$。常见平滑方法：

Laplace Smoothing
Add-one：即强制让所有的n-gram至少出现一次，只需要在分子和分母上分别做加法即可。这个方法的弊端是，大部分n-gram都是没有出现过的，很容易为他们分配过多的概率空间。
$P(w_n|w_{n-1})=\frac{C(w_{n-1}{w}_n)+1}{C(w_{n-1})+|V|}$
Add-K：在Add-one的基础上做了一点小改动，原本是加1，现在加上一个小于1的常数K。但是缺点是这个常数仍然需要人工确定，对于不同的语料库K可能不同。
$P(w_n|w_{n-1})=\frac{C(w_{n-1}{w}_n)+k}{C(w_{n-1})+k|V|}$
另外还有其他平滑方法：

• Good-Turing smoothing
• Jelinek-Mercer smoothing (interpolation)
• Catz smoothing
• Witten-Bell smoothing
• Absolute discounting
• Kneser-Ney smoothing

回退（Katz backoff）：从N-gram回退到(N-1)-gram，例如$Count(the,dog)\sim Count(dog)$。

2.3 n-gram的优缺点

总结下基于统计的n-gram语言模型的优缺点：
优点：

• 采用极大似然估计，参数易训练；
• 完全包含了前$n-1$个词的全部信息；
• 可解释性强，直观易理解。

缺点：

• 缺乏长期依赖，只能建模到前$n-1$个词；
• 随着$n$的增大，参数空间呈指数增长；
• 数据稀疏，难免会出现$OOV$的问题；
• 单纯的基于统计频次，泛化能力差。