如何计算给定一个unigram语言模型_NLP(二)N-gram模型和HMM模型用于分词

作者：AllinToyou | 2024-04-10 07:53:17

踩

uni-gram挖掘

“一个句子是否合理，就看看它的可能性大小如何”（引自数学之美）。由此，很容易理解语言模型的定义。什么是语言模型(Language Model)？假设 S 表示一个有意义的句子，由一连串特定顺序排列的词

组成，

为句子的长度。则有:

，为了使序列

S 的概率最大化，我们也可以最小化

。

和

都可以被称为语言模型。总而言之，

语言模型就是建立了一个基于统计的模型去计算一个序列 S 的可能性。

N-gram就是语言模型。对于前面提到的语言模型从计算上来看，序列的前两个词

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/397439