赞
踩
一. 例子讲解
假设有两个硬币1和2,随机抛出后出现正面概率为
很容易计算硬币1正面
假如我们不知道选出的是哪个银币,还需要计算出
对每个问号编个号(
先随机初始化一个
初始设
每个取硬币1或2出现最大的最大的概率,则此时
我们使用所有的z值计算,根据上述数据,可算出z值对应的
计算在硬币1 条件下正方面分布,如:
此时算出的值,更接近真实值0.4。
二. 算法过程
2.1 Jensen不等式
当函数满足凸函数(存在局部极小值),则有
2.2 算法推导
有观测变量数据Y(上例中正反面结果),隐藏变量Z(上例中硬币1硬币2),求分布
运用Jensen不等式(上图画的),
公式1有:
其中当满足
则有
接下来求
2.3 EM算法收敛性
要证明算法收敛,其实是证明
有
则
三. 高斯混合模型
离散随机变量期望:
连续随机变量的期望:
方差定义:,期望的表示方式为:
协方差定义:,表示两个变量空间。用期望的表示方式为:,两个变量独立协方差为0。 协方差矩阵:多维高斯密度公式:;表示纬度维的向量,各纬度向量的平均值,所有向量协方差矩阵。
如下图所示,有观测样本数据
从几何意义理解,高斯混合模型就是多个独立高斯分布按照权重叠加的模型,其分布模型公式记为:
根据EM算法,z的分布是离散分布:
有
四. python例子
还是代码简单,高斯混合模型的预测,详情看示范例子:
https://github.com/zx3305/tennis/blob/master/em/main.pygithub.com参考资料:
机器学习之最大期望(EM)算法_谓之小一-CSDN博客_最大期望算法
https://blog.csdn.net/lin_limin/article/details/81048411
多维高斯分布 - jermmyhsu - 博客园
https://www.bilibili.com/video/BV13b411w7Xj
https://www.bilibili.com/video/BV1qW411k7ao?p=3
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。