NGram模型与词向量介绍

作者：禅与计算机程序设计艺术

1.简介

概述

• N-Gram(n元语法、n-gram)模型是自然语言处理（NLP）中非常重要的一个概念。它描述了一种统计方法，通过观察一个词或符号序列在文本中的连续出现，可以得出其概率分布。
• 在实际应用过程中，N-Gram模型又被称作马尔可夫模型、隐马尔科夫模型和Katz距离等。

主要特点

• N-Gram模型能够提供足够多的词和句子的信息。
• 可以有效地解决上下文依赖的问题。
• 通过N-Gram模型进行预测时，可以达到很高的准确性。
• 在处理大型数据集时，可以有效地减少计算复杂度。
• 对许多任务来说，N-Gram模型都是一个好的选择。例如：文本分类、信息检索、机器翻译、对话系统等。

模型结构

• N-Gram模型由状态序列和观测序列组成。
• 每个状态对应于n-1个前面的观测符号。
• 在给定前缀的情况下，预测下一个词或符号的条件概率。
• N-Gram模型可以分为两种类型：固定大小N-Gram模型和可变大小N-Gram模型。
• 固定大小N-Gram模型指的是每次观测变量个数都是固定的。可变大小N-Gram模型则允许不同长度的观测变量序列。

语言模型

• N-Gram模型通常用于语言建模。
• 语言模型认为，语言是由一系列词组成的。
• 通过训练语言模型，可以利用N-Gram模型预测未知的单词或语句。
• 有两种类型的语言模型：静态语言模型和动态语言模型。

静态语言模型