EM算法的例子--（1）_em算法例题

1.基础知识

1.1.凸函数&凹函数

凸函数：
凸函数是一个定义在某个向量空间的凸集C（区间）上的实值函数f，在其定义域C上的任意两点x、y，以及$t\in [0,1]$，有

如果对于任意的$t\in [0,1]$有

则函数f是严格凸的。

凹函数：
在数学中，凹函数是凸函数的相反。凹函数是一个定义在某个向量空间的凹集C（区间）上的实值函数f，在其定义域C上的任意两点x、y，以及$t\in [0,1]$，有

进一步地，对于凸函数而言，从图像上来看，可以概括为，任意两点的连线在函数曲线的上方。一元可微函数在某个区间上是凸的，当且仅当它的导数在该区间上单调不减，即有$f^{\prime \prime }(x)>0$。当x是向量时，如果其hessian矩阵H是半正定的（$H\ge 0$），那么f是凸函数。如果或者，那么称f是严格凸函数。
显然，log函数是凹函数（在EM算法将用到）。

1.2.期望（expectation）

在概率论和统计学中，一个离散性随机变量的期望值（数学期望、均值也称为期望）是试验中每次可能结果的概率乘以其结果的总和）。
采用形式化的定义，设Y是随机变量X的函数，Y=g(X)（g是连续函数），那么
（1）X是离散型随机变量，它的分布律为$P(X=x_k)=p_k,k=1,2,...$，若${\sum }_{k=1}^{\infty }g(x_k)p_k$绝对收敛，则期望值计算为$E[Y]=E[g(X)]$