监督学习中判别式模型和生成式模型的区别 | 无监督学习的生成模型GAN、VAE（生成样本）_生成式和判别式的区别

一、监督学习中的判别式模型和生成式模型

有监督学习可以分为两类：判别模型和生成模型，我们所熟悉的神经网络，支持向量机和logistic regression，决策树等都是判别模型。而朴素贝叶斯和隐马尔可夫模型则属于生成式模型

1.1 判别式模型（线性回归、SVM、NN）

判别式模型由数据直接学习$P(y|x)$来预测$y$

1.2 生成式模型（朴素贝叶斯、HMM）

生成式模型先对联合概率$P(x,y)$建模（由数据学习联合概率分布$P(x,y)$），由此求得$P(y|x)$

以分类问题为例，我们会对每个类别建一个模型，有多少个类别，就建立多少个模型。

• 比如类别有猫、狗、猪，那我们会学出模型P(X, Y = 猫), P(X, Y = 狗), P(X, Y = 猪)，即得到联合概率P(X,Y)，对于一个新的样本X=忠诚，我们看一下三个模型哪个概率最高，例如P(X=忠诚, Y=狗)概率最大，我们就认为该样本属于狗这个类别。

生成式模型：$P(Y|X)=\frac{P(X,Y)}{P(X)}$ （贝叶斯公式）

典型的生成式模型有，朴素贝叶斯模型、隐马尔可夫模型（HMM）

为什么朴素贝叶斯是生成式模型？

我的笔记：朴素贝叶斯原理

因为朴素贝叶斯是这样计算的，$P(Y|X)=\frac{P(X,Y)}{P(X)}$，它仍然是想办法算$P(x,y)$，只不过这个联合分布没法直接算，因为$x_i$与$y$不独立，所以$P(x_1,x_2,..x_n,y)\ne P(x_1)P(x_2)\cdots P(y)$。

为了解决联合分布没法算的问题，朴素贝叶斯先是利用贝叶斯定理对公式进行了转换$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}$，然后假设不同$x_i$关于$y$条件独立，因此
$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}=\frac{P(x1|Y)P(x2|Y)\cdots P(x_n|Y)P(Y)}{P(X)}$

此时所有的概率都是可以算的（用对应的频率替代）

1.3 两种模型的小结

本小节内容摘自知乎 Microstrong 的文章

不管是生成式模型还是判别式模型，它们最终的判断依据都是条件概率$P(Y|X)$，但是生成式模型先计算了联合概率$P(X,Y)$，再由贝叶斯公式计算得到条件概率。因此，生成式模型可以体现更多数据本身的分布信息，其普适性更广。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/不正经/article/detail/318122