菜鸟学概率统计——最大后验概率（MAP)

最大似然估计：把待估计的参数看作是确定性的量（只是其取值未知），其最佳估计就是使得产生已观察到的样本（即训练样本）的概率为最大的那个值。（即求条件概率密度p(D|＄)为最大时的＄，其中D为样本集，＄为条件概率密度分布的参数）。特点：简单适用；在训练样本增多时通常收敛得很好。只考虑某个模型能产生某个给定观察序列的概率，而未考虑该模型本身的概率，这点与贝叶斯估计区别。

目标是寻求能最大化likehood:的值。可以写出目标函数：

一般使用对数来进行简化处理：

要最大化L，对L求导数并令导数为0即可求解。

最大后验估计（MAP－Maxaposterior）：求p(D|＄)*p($)取最大值的那个参数向量＄，最大似然估计可以理解为当先验概率p($)为均匀分布时的MAP估计器。（MAP缺点：如果对参数空间进行某些任意非线性变换，如旋转变换，那么概率密度p($)就会发生变化，其估计结果就不再有效了。）根据经验数据获得对难以观察的量的点估计。与最大似然估计类似，但是最大的不同时，最大后验估计的融入了要估计量的先验分布在其中，可看做是规则化的最大似然估计。

   和极大似然估计不同的是，MAP寻求的是能使后验概率最大的值。

之所以可以省略分母p(X)，是因为p(X)和没有关系。注意当前验 p 是 uniform（也就是常函数）时最大后验估计与最大似然估计重和。

加上对数处理后，上面公式可以表达为：