当前位置:   article > 正文

自然语言处理(七)——n元语法模型计算句子出现概率_给定语料库,求句子概率例题

给定语料库,求句子概率例题

一、前言

区别于形式语言进行自然语言处理,语言模型在自然语言处理中不关心句子的语法,而是关心这个句子出现的概率,即使一个句子完全符合语法逻辑,但是在语料库中未出现,我们仍然可以认为这个句子出现的概率为0。目前计算句子的概率一般采取n元语法模型,因此接下来就引入n元语法模型

二、n元语法模型

介绍n元语法模型之前,要懂一个理想情况下计算概率的模型。对于一个由m个基元(“基元”可以为字、词或短语等,为了表述方便,以后我们只用“词”来通指,每个基元用w表示)构成的句子s=w1w2w3...wm,其概率计算公式可以表示为

p(s) =p(w1)p(w2 | w1)p(w3 |

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/628974
推荐阅读
相关标签
  

闽ICP备14008679号