当前位置:   article > 正文

NLP:n-gram模型

n-gram

目录

        一、语言模型

        二、数学基础

        三、N-Gram      

                # 1、原理

                # 2、数据平滑

                # 3、应用

                # 4、缺点

        四、神经语言模型

        五、工具


# 语言模型

    语言模型(Language Model,LM),语言模型是一个基于概率的判别模型,它的输入是一句话(单词的顺序序列),输出是这句话出现的概率,即这些单词的联合概率。主要的应用场景:

    1️⃣ 人们基于一定的语料库,可以利用N-Gram来预计或者评估一个句子是否合理;

    2️⃣ 通过输入的前N个词预言下一个词(常见于输入法,这种类型的LM被称为自回归语言模型(Autoregression, AT);

    3️⃣ 用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段(此应用比较少见

   

   

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/AllinToyou/article/detail/345599
推荐阅读
相关标签