当前位置:   article > 正文

PRML-系列二之2.2_迪利克雷分布 归一化系数

迪利克雷分布 归一化系数

多元变量

  二元变量可以描述两个可能值中取一个的量。然而,通常我们遇到离散变量是从K个可能的互斥状态中选取一个。虽然有各种不同的替代方式表达这种变量,但我们将很快看到一个特别方便的表示是1-of-K方案,其中变量由K维向量x表示,向量x中的一个元素xk等于1,并且其余元素等于0。例如,如果我们有一个K=6个状态的变量并且一个特定的变量观察值恰好对应于x3=1的状态,则x将被表示为:
这里写图片描述
注意向量满足这里写图片描述 如果我们用参数μk表示xk=1的概率,那么x的分布为:
这里写图片描述
其中μ = (μ1, … , μK)T,参数μk的限制为:这里写图片描述这里写图片描述 因为他们表示概率。(2.26)的分布可以看做是伯努利分布的泛化。很容易看出分布被归一化:
这里写图片描述
并且
这里写图片描述
  现在考虑N个独立观察值x1,,,xn的数据集D。相应的似然函数形式为:
这里写图片描述
我们看到,似然函数依赖于N个数据点仅仅通过K个量:
这里写图片描述
它表示观测值xk=1的数量。这叫做分布的充分统计。
  为了找到μ的最大似然解,我们需要最大化相对于μK的lnp(D|μ),并且服用μK总和必须为一的约束。这可以使用拉格朗日乘数λ和最大化
这里写图片描述实现。
(2.31)对μk求导并等于零,我们得到:
这里写图片描述
我们将(2.32)代入约束这里写图片描述解出拉格朗日乘数λ=-N。因此,我们得到的最大似然解形式为:
这里写图片描述
这是N个观测值中xk=1的部分。
  我们可以考虑m1,, ,mk的联合分布,参数为μ和观测量为N。根据(2.29)这采取的形式:
这里写图片描述
这就是所谓的多项分布。归一化系数是划分N个对象到K组不同方式的总数,且由下式给出:
这里写图片描述
注意mk的约束是:
这里写图片描述

狄利克雷分布

  我们现在介绍对于多项分布(2.34)参数{μK}的先验分布族。通过检查多项式分布的形式,我们看到共轭先验由下式给出:
这里写图片描述
其中这里写图片描述在这里α1,, ,αK是分布参数,α表示为(α1,…,αK)T。注意,因为总和约束,{μK}空间上的分布被限制在一个维数为K - 1的单层,如图2.4所示的是K = 3。
这里写图片描述
  分布的归一化形式为:
这里写图片描述
这叫做狄利克雷分布。这里Γ(x)是(1.141)定义的伽马函数,并且
这里写图片描述
单层上狄利克雷分布图(参数αK有不同的值)如图2.5。
这里写图片描述
  似然函数(2.34)乘以先验(2.38),我们得到参数{μK}的后验分布
这里写图片描述
我们看到,后验分布再次得到了狄利克雷分布的形式,证实狄利克雷确实是多项式的共轭先验。此使得我们通过比较(2.38)确定归一化系数,使得:
这里写图片描述
其中我们已经表示m =(m1,,,mk)T。至于带有beta先验的二项式分布,我们可以将狄利克雷先验的参数αK解释为xk=1观测的有效数目。
  注意,两状态量既可以被表示为二元变量并用二项式分布(2.9)建模也可以表示为1-of-2变量并用多项式分布(2.34)建模(K =2)。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/195529
推荐阅读
相关标签
  

闽ICP备14008679号