PRML-系列二之2.2_迪利克雷分布 归一化系数

多元变量

　　二元变量可以描述两个可能值中取一个的量。然而，通常我们遇到离散变量是从K个可能的互斥状态中选取一个。虽然有各种不同的替代方式表达这种变量，但我们将很快看到一个特别方便的表示是1-of-K方案，其中变量由K维向量x表示，向量x中的一个元素xk等于1，并且其余元素等于0。例如，如果我们有一个K=6个状态的变量并且一个特定的变量观察值恰好对应于x3=1的状态，则x将被表示为：

注意向量满足 如果我们用参数μk表示xk=1的概率，那么x的分布为：

其中μ = (μ1, … , μK)T,参数μk的限制为： 和 因为他们表示概率。（2.26）的分布可以看做是伯努利分布的泛化。很容易看出分布被归一化：

并且

　　现在考虑N个独立观察值x1，，，xn的数据集D。相应的似然函数形式为：

我们看到，似然函数依赖于N个数据点仅仅通过K个量：

它表示观测值xk=1的数量。这叫做分布的充分统计。
　　为了找到μ的最大似然解，我们需要最大化相对于μK的lnp（D|μ），并且服用μK总和必须为一的约束。这可以使用拉格朗日乘数λ和最大化
实现。
（2.31）对μk求导并等于零，我们得到：

我们将（2.32）代入约束解出拉格朗日乘数λ=-N。因此，我们得到的最大似然解形式为：

这是N个观测值中xk=1的部分。
　　我们可以考虑m1，， ，mk的联合分布，参数为μ和观测量为N。根据（2.29）这采取的形式：

这就是所谓的多项分布。归一化系数是划分N个对象到K组不同方式的总数，且由下式给出：

注意mk的约束是：

狄利克雷分布

　　我们现在介绍对于多项分布（2.34）参数{μK}的先验分布族。通过检查多项式分布的形式，我们看到共轭先验由下式给出：

其中在这里α1，， ，αK是分布参数，α表示为（α1，…，αK）T。注意，因为总和约束，{μK}空间上的分布被限制在一个维数为K - 1的单层，如图2.4所示的是K = 3。

　　分布的归一化形式为：

这叫做狄利克雷分布。这里Γ(x)是（1.141）定义的伽马函数，并且

单层上狄利克雷分布图（参数αK有不同的值）如图2.5。

　　似然函数（2.34）乘以先验（2.38），我们得到参数{μK}的后验分布

我们看到，后验分布再次得到了狄利克雷分布的形式，证实狄利克雷确实是多项式的共轭先验。此使得我们通过比较（2.38）确定归一化系数，使得：

其中我们已经表示m =（m1，，，mk）T。至于带有beta先验的二项式分布，我们可以将狄利克雷先验的参数αK解释为xk=1观测的有效数目。
　　注意，两状态量既可以被表示为二元变量并用二项式分布（2.9）建模也可以表示为1-of-2变量并用多项式分布（2.34）建模（K =2）。