EM算法详解_em算法摘要

                                                           "微信公众号"

                              

目录

1. 摘要

2. EM算法简介

3. 预备知识

3.1 极大似然估计

（1）问题描述

（2）用数学知识解决现实问题

（3）最大似然函数估计值的求解步骤

3.2 Jensen不等式

（1）定义

（2）举例

4. EM算法详解

4.1 问题描述

4.2 EM算法推导流程

4.3 EM算法流程

5. EM算法若干思考

5.1 对EM算法的初始化研究

5.2 EM算法是否一定收敛？

5.3 如果EM算法收敛，能否保证收敛到全局最大值？

6. EM算法实例

7. 对EM算法总结

Reference：

---

1. 摘要

EM（Expectation-Maximum）算法也称期望最大化算法，曾入选“数据挖掘十大算法”中，可见EM算法在机器学习、数据挖掘中的影响力。EM算法是最常见的隐变量估计方法，在机器学习中有极为广泛的用途，例如常被用来学习高斯混合模型（Gaussian mixture model，简称GMM）的参数；隐式马尔科夫算法（HMM）、LDA主题模型的变分推断等等。本文就对EM算法的原理做一个详细的总结。

【扩展阅读】数据挖掘中十大算法论文：

Wu X, Kumar V, Quinlan J R, et al. Top 10 algorithms in data mining[J]. Knowledge and information systems, 2008, 14(1): 1-37.

论文下载地址：http://www.cs.uvm.edu/~icdm/algorithms/10Algorithms-08.pdf

2. EM算法简介

EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），所以算法被称为EM算法（Expectation-Maximization Algorithm）。EM算法受到缺失思想影响，最初是为了解决数据缺失情况下的参数估计问题，其算法基础和收敛有效性等问题在Dempster、Laird和Rubin三人于1977年所做的文章《Maximum likelihood from incomplete data via the EM algorithm》