Statistical language model 统计语言模型_统计语言模型(statistical language model, slm).

作者：菜鸟追梦旅行 | 2024-05-03 09:09:46

踩

统计语言模型(statistical language model, slm).

学习笔记来自斯坦福公开课的自然语言处理（https://class.coursera.org/nlp/），以其中讲义为主，加入自己的学习理解，以加深学习印象。

内容提纲：

1. N-GRAM介绍

2. 参数估计

3. 语言模型的评价

4. 数据稀疏问题

5. 平滑方法

N-GRAM介绍

现在很多的应用中，需要计算一个句子的概率，一个句子是否合理，就看看它的可能性大小，这里可能性的大小就用概率来衡量。比如下面几个例子：

P(high winds tonite) > P(large winds tonite)

比如这一句话：The office is about fiIeen minuets from my house

显然 P(about fiIeen minutes from) > P(about fiIeen minuets from)

比如I saw a van 和eyes awe of an听上去差不多，但是P(I saw a van) >> P(eyes awe of an)

上面的几个例子中都需要计算一个句子的概率，以作为判断其是否合理的依据。下面将上述的内容形式化描述。

我们需要计算一个句子或序列W的概率： P(W) = P(w 1 ,w 2 ,w 3 ,w 4 ,w 5 …w n )

其中我们也需要计算一个相关的任务，比如P(w 5 |w 1 ,w 2 ,w 3 ,w 4 )，表示w 1 w 2 w 3 w 4 后面是w 5的概率，即下一个词的概率。

像这样计算P(W)或者P(w n |w 1 ,w 2 …w n-‐1 ) 的模型叫做语言模型( language model简称LM)。

那么如何计算P(W)呢？用概率的链式规则，链式规则常常用来评估随机变量的联合概率，链式规则如下：

将上面的链式规则计算P(W)可以写作如下：

按照链式规则计算方式，举例如下：

P(“its water is so transparent”) = P(its) × P(water|its) × P(is|its water) × P(so|its water is) × P(transparent|its water is so)

那么下面的问题是如何计算上面每一个概率，比如 P(transparent|its water is so)，一种比较直观的计算就是计数然后用除法：

事实上不能用这种方式去计算条件概率，原因有两个：

2.数据稀疏严重，我的理解是像上面那样计数计算，比如计数分子its water is so transparen,在我们所能见的文本中出现的次数是很小的，这样计算的结果是过多的条件概率会等于0，因为我们根本没有看到足够的文本来统计！

上面的计算方式是通过马尔科夫假设进行简化的，马儿可夫假设是指假设第wi个词语只与它前面的k个词语相关，这样我们就得到前面的条件概率计算简化如下：

这样我们的P(W)计算简化如下：

当k = 0时，这个时候对应的模型叫做一元模型(Unigram model)，即wi与它前面的0个词相关，即wi不与任何词相关，每一个词都是相互独立的，P(W)计算如下：

当k = 1时，对应的模型叫做二元模型(Bigram model)，此时wi与它前面一个词相关，P(W)计算如下：

同样的，我们可以让k = 2，叫做 trigrams，4-grams，5-grams，当k = N - 1，模型成为n元模型，即N-grams。

总的来说，N-grams有一些不足，因为语言存在一个长距离依赖关系，比如考虑下面的句子：

“The computer which I had just put into the machine room on the fifth floor crashed.”

假如我们要预测最后一个词语crashed出现的概率，如果采用二元模型，那么crashed与floor实际关联可能性应该非常小，相反的，这句子的主语computer与crashed的相关性很大，但是n-

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/528832