自然语言处理（十一）——产生式模型和判别式模型_语言模型判别式和生成式

前言

产生式模型和判别式模型的区别，下面会用一个天气判断的案例来解释。首先我们需要了解一下什么是分类器，用数学的符号来描述分类器就是：输入x以及分类变量y，求p(y | x)。例如，x是云量、气温、湿度。y是天气状况（下雨？不下雨？）。分类器的作用就是分析云量等这些指标，来得出下雨或者不下雨的概率。

一、两种模型的思想

到底怎么计算下雨的概率，产生式模型和判别式模型有不同的计算思想。产生式模型首先是先估算联合概率密度p(x,y)，再通过贝叶斯公式求出p(y | x)。而判别式模型直接估算p(y | x)。产生式模型的典型代表是朴素贝叶斯，判别式模型的典型代表说逻辑回归。

接下来就用天气判断来运行一下朴素贝叶斯的思想流程。

P（y = “rain” | x） = $\frac{p(y="rain",x)}{p(x)}$  这个概率是在x的情况下天气下雨的概率，现在p(x)是很难求出的。

P（y = “sunny” | x） = $\frac{p(y="sunny",x)}{p(x)}$这个概率是在x的情况下天气晴朗的概率，现在p(x)是很难求出的。