自然语言处理(NLP)-语言模型【用来判断一句话语法上是否通顺】：N-gram语言模型（基于语料库的统计结果）--＞ N-gram神经网络语言模型【语言模型的评估（①：PPL困惑度；②：BPC）】_训练ngram模型并对句子评分

作者：Monodyee | 2024-03-31 10:50:01

踩

训练ngram模型并对句子评分

统计语言模型实际上是一个概率模型，所以常见的概率模型都可以用于求解这些参数

常见的概率模型有：N-gram 模型、决策树、最大熵模型、隐马尔可夫模型、条件随机场、神经网络等

目前常用于语言模型的是 N-gram 模型和神经网络语言模型

一、概率的链式规则（Chain Rule）

朴素贝叶斯中使用的独立性假设为
$P(x_1,x_2,x_3,...,x_n)=P(x_1)P(x_2)P(x_3)...P(x_n) \tag{1}$
去掉独立性假设，有下面这个恒等式，即联合概率链规则
$P(x_1,x_2,x_3,...,x_n)=P(x_1)P(x_2|x_1)P(x_3|x_1,x_2)...P(x_n|x_1,x_2,...,x_{n-1}) \tag{2}$
其中， $x_i$ 代表一个词，联合概率链规则表示句子中每个词都跟前面一个词有关，而独立性假设则是忽略了一个句子中词与词之间的前后关系。

例如：S = 我爱北京天安门，那么此时我们希望知道这句话合理的可能性有多少？就需要计算

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/344397

自然语言处理(NLP)-语言模型【用来判断一句话语法上是否通顺】：N-gram语言模型（基于语料库的统计结果）--＞ N-gram神经网络语言模型 【语言模型的评估（①：PPL困惑度；②：BPC）】_训练ngram模型并对句子评分

一、概率的链式规则（Chain Rule）

自然语言处理(NLP)-语言模型【用来判断一句话语法上是否通顺】：N-gram语言模型（基于语料库的统计结果）--＞ N-gram神经网络语言模型【语言模型的评估（①：PPL困惑度；②：BPC）】_训练ngram模型并对句子评分