生成模型和判别模型的对比，懂这俩机器学习不在话下 最大熵模型_生成式要label吗

决策函数：最大熵模型

最大熵模型：判别模型：构建特征和标签的映射通过计算条件熵（在已知条件下做风险最低的预测，万物熵增的规律启发）

生成：HMM，BAYES

一般来说，生成式模型需要非常充足的数据量以保证采样到了数据本来的面目。判别模型对数据量要求没生成式的严格。但是也要具体情况具体分析。

1. 将所有数据摸透(x,y标签）求联合分布，得到条件分布，朴素bayes、HMM。朴素在这里假设样本特征独立同分布，计算联合概率用连乘法$P(x_i|y_i)P(y_i)$
2. 通过大量数据摸底，基本模拟了数据的真实分布
3. 没有分类边界

判别：NN，SVM

1. 根据x特征映射y标签，通过构建生成模型loss学习映射关系，有分类边界
2. 不能反映数据本身分布的特性

例子

例子3：跟踪算法
生成模型：一般是学习一个代表目标的模型，然后通过它去搜索图像区域，然后最小化重构误差。类似于生成模型描述一个目标，然后就是模式匹配了，在图像中找到和这个模型最匹配的区域，就是目标了。
判别模型：将跟踪问题看成一个二分类问题，然后找到目标和背景的决策边界。它不管目标是怎么描述的，那只要知道目标和背景的差别在哪，然后你给一个图像，它看它处于边界的那一边，就归为哪一类。

例 子一：比如说要确定一只羊是山羊还是绵羊

判别模型的方法是:（学差别）

先从历史数据中学习到一个统一的模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。我只要学会绵羊和山羊某个特殊差别就好。

比如山羊更擅长攀岩，按照岩壁坡度进行判别，能在45度以上山坡行走的就是山羊，以下是绵羊。

而眼前这个羊走85度山坡如履平地，所以它是山羊。

生成模型的方法：（学整体特征后，预测样本属于山羊或绵羊的概率）

根据山羊的特征首先学习出一个山羊模型(躯体瘦，角三菱型，呈镰刀状弯曲，一般毛粗而短，毛色多为白色，也有黑色、青色、褐色或杂色的，尾巴往上翘，胆子大，采食灌木嫩枝条)。

根据绵羊的特征学习出一个绵羊模型(躯体丰满，头短，公羊有螺旋状大角，母羊无角或只有细而小的角。毛细蜜、多为白色。 绵羊的嘴唇薄而灵活，适于啃食很短的牧草，性情温顺，胆小，主要吃草)。

然后从这只羊中提取各种特征，放到山羊模型中看概率是多少，再放到绵羊模型中看概率是多少，哪个大就是哪个。

在这个问题中，第一个判别模型方法中你只记住了山羊和绵羊之间的不同之处。第二个生成模型的思路中，你实际上学习了什么是绵羊，什么是山羊。

例二: 识别一个语音属于哪种语言

例如对面一个人走过来，和你说了一句话，你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的：

生成: 学习全帽，汉语、英语、法语

学习每一种语言，你花了大量精力把汉语、英语和法语等都学会了，我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你说话，你就可以知道他说的是什么语音。这就是GM。

判别：学习差异

不去学习每一种语言，你只学习这些语言模型之间的差别，然后再分类。意思是指我学会了汉语和英语等语言的发音是有差别的，我学会这种差别就好了。这就是DM。

[白话解析] 深入浅出最大熵模型

        </h1>
        <div class="clear"></div>
        <div class="postBody">
            
<div id="cnblogs_post_description" style="display: none">
    本文将尽量使用易懂的方式，尽可能不涉及数学公式，而是从整体的思路上来看，运用感性直觉的思考来解释最大熵模型。并且从名著中找了几个具体应用场景来帮助大家深入这个概念。
</div>
1
2
3
4
5
6
7