贝叶斯规则和LDA主题模型_lda模型抽样 贝叶斯

共轭先验和共轭分布

P($\theta$) 先验分布、P($\theta | X$)后验分布、P(X |$\theta$)似然函数。
后验分布=先验分布*似然函数/P(X)
使得先验分布和后验分布具有相同的形式，称他们是共轭分布;先验分布称为相应似然函数的共轭先验。
似然函数是关于统计模型中的参数的函数，表示模型参数的似然性，用于在已知观测所得到的结果时，对模型的参数进行估计。

Beta分布是二项分布的共轭先验分布；狄利克雷分布是多项式分布的共轭先验分布。
1

二项分布的似然函数(n次独立的伯努利试验): L=$p^{s}(1-p)^{f}$

Beta中先验分布为X~Beta($\alpha$,$\beta$) ，后验分布为X~Beta($\alpha$+s,$\beta$+f)，超参数变了，对于新增的观测值，后验分布又可作为先验分布来计算，乘以似然函数得到修正后的新后验，通过求后验均值得到参数的估计。这种序列方法非常适合实时学习场景。

当拥有无限数据量时(beta分布中s和f都趋向于无穷，狄利克雷分布中m趋向于无穷)，贝叶斯方法和频率方法得到的参数估计是一致的;在有限数据量下，贝叶斯的参数后验均值介于先验均值和频率方法的估计参数。

多项分布的似然函数(K个状态，概率分布为$\mu=(\mu_{1},\mu_{2},..,\mu_{k}$) :
L=