NLP—2.语言模型及文本表示_自然语言处理中语言模型的概念

一、语言模型

  语言模型可以说是自然语言处理中最重要的模型。语言模型可以看做是一个函数，用于计算一个句子出现的概率，即语言模型可以判断某一句话从语法上是否通顺（是不是人话），从语义上是否有歧义。在很多时候，我们都要度量一句话的出现概率，一句话的出现概率等同于一句话语法的流畅程度。通过语言模型，我们可以知道：
$$\begin{gathered} P_{LM}(今天天气真不错)>P_{LM}(真不错天气今天) \\ {P}_{LM}(全民AI是趋势)>P_{LM}(全民趋势是AI) \end{gathered}$$
语言模型可以用于语音识别，机器翻译。
  那么，如何计算每句话出现的概率？每句话出现的概率等于单词序列出现的概率。
$$P_{LM}(s)=P_{LM}(w_1,w_2,...,w_n)$$
根据链式法则，可以表示为
$$P_{LM}(s)=P_{LM}(w_1,w_2,...,w_n)=P_{LM}(w_1)P_{LM}(w_2|w_1)...P_{LM}$$