LDA 详解_lda 函数参数说明

欢迎到我的博客查看最新文章: https://blog.zplayer.cloud

先验知识

Gamma 函数

• Gamma 函数详解

Beta/Dirichlet 分布与共轭

• Beta 函数, Beta 分布详解

MCMC, 吉布斯采样

这块资料暂时自己去找, 等我有空写了 $\mathrm{M}\mathrm{C}\mathrm{M}\mathrm{C}$ 的教程再补上.

LDA 介绍

构成

$\mathrm{L}\mathrm{D}\mathrm{A}(\mathrm{L}\mathrm{a}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}\mathrm{A}\mathrm{l}\mathrm{l}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n})$ 是一种词袋模型. 由语料, 文档, 话题. 词, 这三个概念组成.

• 语料

语料是文档的集合.

• 文档

文档是词的集合, 可以看做是一篇作文, 或是像这篇一样的博文, 反正就是一篇完整的文本.

• 话题

话题给出了某个词出现的概率. 到底是啥呢? $\mathrm{L}\mathrm{D}\mathrm{A}$ 认为, 文档中每个词都应该有它的话题, 词是由话题来生成的. 比如说某个词的话题是 “概率论” , 那么这个词就很有可能是 "$\mathrm{G}\mathrm{a}\mathrm{m}\mathrm{m}\mathrm{a}$ 函数" , 而不太可能是 “吃饭” . “可能” 与 “不太可能” 在数学上用概率描述, 而话题就给出了这个概率的值.

• 词

这应该无需多解释, “词” 本身就是一个词. 文档是由一个个词组成的

生成文档过程

生成文本的过程, 就像是上帝抛骰子. 关于这个骰子如何抛, 频率派与贝叶斯派有不同的解释, 而 $\mathrm{L}\mathrm{D}\mathrm{A}$ 就是基于贝叶斯派的解释.

频率派

频率派认为, 上帝有两种骰子, 一种是 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子, 它有 $K$ 个面, 每个面都是一个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 的编号. 还有一种是 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子, 一共有 $K$ 个, 正好对应 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 的 $K$ 个面. 每个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子有 $V$ 个面, 每一个面都对应一个词. 生成文档包括两个过程:

$1.$ 抛投 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子, 得到一个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 编号.

$2.$ 按照这个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 编号, 找到对应的 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子, 再次抛投, 生成一个词.

假如说一个文档有 $N$ 个词, 那么以上过程就重复 $N$ 次, 这样就生成了这篇文档所有的词, 这篇文档也就生成完毕.

贝叶斯派

对于这样的抛骰子过程, 贝叶斯派可就不满意了. 无论是 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子, 还是 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子, 都是模型里的参数, 参数都是随机变量, 怎么能没有先验呢?

于是, 就有了两大缸骰子, 一缸装了 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子, 一缸装了 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子, 相比频率派, 贝叶斯派多了 $1,2$ 两个过程.

$1.$ 从 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 缸中取出 $K$ 个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子, 每个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子有 $V$ 个面, 每一个面都对应一个词.

$2.$ 从 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 缸中取出一个 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子, 所有的 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子都只有 $K$ 个面.

$3.$ 抛投 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子, 得到一个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 编号.

$4.$ 按照这个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 编号, 找到对应的 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子, 再次抛投, 生成一个词. 如果一篇文档所有的词没有生成完毕, 那么就跳到第 $3$ 点继续重复生成词.

执行完这 $4$ 个过程一篇文档就生成完成, 然后重新回到 $2$ , 生成下一篇文档 (也就是说 $K$ 个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子不用重新抽取), 直到整个语料 (包含 $M$ 篇文档) 生成完毕, 也就是重复 $M$ 次. 每篇文档都是独立的, 每个词也是, 所以生成的过程可以互相交换.

目标

$\mathrm{L}\mathrm{D}\mathrm{A}$ 的目标就是给定文档 然后估计文档中每个词的 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ , 以及估计出你取到的 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子与 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子到底是长啥样 (每个面的概率) . 我们这里将某篇文档的 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子记为 ${\vec{\theta }}_m$ , 整个语料中的 $\mathrm{d}\mathrm{o}\mathrm{c}-\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 骰子记为 ${\vec{\theta }}_1,\dots ,{\vec{\theta }}_M$ . ${\vec{\theta }}_m$ 向量的每个分量的值就是取到某个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 编号的概率. 而 $K$ 个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}-\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 骰子记为 ${\vec{\phi }}_1,{\vec{\phi }}_2,\dots ,{\vec{\phi }}_K$ . 我们的目的就是求出 ${\phi }_1,{\phi }_2,\dots ,{\phi }_K$ 与 ${\vec{\theta }}_1,\dots ,{\vec{\theta }}_M$. 我们再将每篇文档中的词记为 $\vec{w}$ , 整个语料 $\mathcal{W}$ 包含 $M$ 篇文档记为 $\vec{\mathrm{w}}=({\vec{w}}_1,\dots {\vec{w}}_M)$ , 所有的 $\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 对应的 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 记为 $\vec{\mathrm{z}}=({\vec{z}}_1,\dots {\vec{z}}_M)$ .

先验分布

由于 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 与 $\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}$ 的数量服从 $\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{o}\mathrm{m}\mathrm{i}\mathrm{a}\mathrm{l}$ 分布, 很自然就把骰子的分布设为与其共轭的 $\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}$ 分布. 于是有
$$\begin{gathered} p({\vec{\theta }}_m\mid \vec{\alpha })=Dir({\vec{\theta }}_m\mid \vec{\alpha }) \\ p({\vec{\phi }}_k\mid \vec{\beta })=Dir({\vec{\phi }}_k\mid \vec{\beta }) \\ p({\vec{n}}_m\mid {\vec{\theta }}_m)=Mult({\vec{n}}_m\mid {\vec{\theta }}_m) \\ p({\vec{n}}_k\mid {\vec{z}}_m,\phi )=Mult({\vec{n}}_k\mid {\vec{z}}_m,\phi ) \end{gathered}$$
其中 $\vec{\alpha },\vec{\beta }$ 是 $\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}$ 分布的参数, 求取前就已经确定, $\phi =({\vec{\phi }}_1,{\vec{\phi }}_2,\dots ,{\vec{\phi }}_K)$ , $N_m$ 是第 $m$ 篇文档中词的数量. ${\vec{n}}_m=({\vec{n}}_m^{(1)},\dots ,{\vec{n}}_m^{(K)})$ , 它的分量 ${\vec{n}}_m^{(k)}$ 代表第 $m$ 篇文档中第 $k$ 个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 产生的词的数量. ${\vec{n}}_k=({\vec{n}}_k^{(1)},\dots ,{\vec{n}}_k^{(V)})$ , ${\vec{n}}_k^{(v)}$ 表示第 $k$ 个 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 产生的词中 $\mathrm{w}\mathrm{o}\mathrm{r}\mathrm{d}v$ 的个数. 当然这里表述有点不严谨, 因为都用的是字母 $n$ , 只是根据下标区别.

联合分布

这里注意到, 整个 $\mathrm{L}\mathrm{D}\mathrm{A}$ 过程就是 $(M+K)$ 个 $\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}-\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{o}\mathrm{m}\mathrm{i}\mathrm{a}\mathrm{l}$ 共轭.
$$p(\vec{\mathrm{w}},\vec{\mathrm{z}}\mid \vec{\alpha },\vec{\beta })=p(\vec{\mathrm{w}}\mid \vec{\mathrm{z}},\vec{\beta })p(\vec{\mathrm{z}}\mid \vec{\alpha })$$
现在我们要分别求出 $p(\vec{\mathrm{w}}\mid \vec{\mathrm{z}},\vec{\beta })$ , 与 $p(\vec{\mathrm{z}}\mid \vec{\alpha })$ .这里设. 那么有
p ( z ⃗ ∣ α ⃗ ) = ∏ m = 1 M p ( z ⃗ m ∣ α ⃗ ) = ∏ m = 1 M ∫ p ( z ⃗ m ∣ θ ⃗ m ) p ( θ ⃗ m ∣ α ⃗ )   d θ ⃗ m = ∏ m = 1 M ∫ p ( z ⃗ m ∣ θ ⃗ m ) D i r ( θ ⃗ m ∣ α ⃗ )   d θ ⃗ m = ∏ m = 1 M ∫ ∏ k = 1 K ( θ ⃗ m ( k ) ) n ⃗ m ( k ) 1 Δ ( α ⃗ ) ∏ k = 1 K ( θ ⃗ m ( k ) ) α v − 1   d θ ⃗ m = ∏ m = 1 M 1 Δ ( α ⃗ ) ∫ ∏ k = 1 K ( θ ⃗ m ( k ) ) n ⃗ m ( k ) + α v − 1   d θ ⃗ m = ∏ m = 1 M Δ ( n ⃗ m + α ⃗ ) Δ ( α ⃗ )

$$\begin{aligned} p(\boldsymbol{\vec{\mathrm{z}}}\mid \vec{\alpha})&=\prod_{m=1}^Mp(\vec{z}_m\mid\vec{\alpha})\\ &=\prod_{m=1}^M\int p(\vec{z}_m\mid\vec{\theta}_m)p(\vec{\theta}_m\mid\vec{\alpha})\,\rm{d}\vec{\theta}_m\\ &=\prod_{m=1}^M\int p(\vec{z}_m\mid\vec{\theta}_m) Dir(\vec\theta_m\mid \vec{\alpha})\,\rm{d}\vec{\theta}_m\\ &=\prod_{m=1}^M\int \prod_{k=1}^K{\left(\vec{\theta}_m^{(k)}\right)}^{\vec{n}_m^{(k)}}\frac{1}{\Delta(\vec{\alpha})} \prod_{k=1}^K{\left(\vec{\theta}_m^{(k)}\right)}^{\alpha_v-1}\,\mathrm{d}\vec{\theta}_m\\ &=\prod_{m=1}^M\frac{1}{\Delta(\vec{\alpha})}\int \prod_{k=1}^K{\left(\vec{\theta}_m^{(k)}\right)}^{\vec{n}_m^{(k)}+\alpha_v-1} \,\mathrm{d}\vec{\theta}_m\\ &=\prod_{m=1}^M\frac{\Delta(\vec{n}_m+\vec{\alpha})}{\Delta(\vec{\alpha})} \end{aligned}$$ p(z ∣α )​=m=1∏M​p(z m​∣α )=m=1∏M​∫p(z m​∣θ m​)p(θ m​∣α )dθ m​=m=1∏M​∫p(z m​∣θ m​)Dir(θ m​∣α )dθ m​=m=1∏M​∫k=1∏K​(θ m(k)​)n m(k)​Δ(α )1​k=1∏K​(θ m(k)​)αv​−1dθ m​=m=1∏M​Δ(α )1​∫k=1∏K​(θ m(k)​)n m(k)​+αv​−1dθ m​=m=1∏M​Δ(α )Δ(n m​+α )​​
上式已经给出了 $M$ 个 $\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}-\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{o}\mathrm{m}\mathrm{i}\mathrm{a}\mathrm{l}$ 共轭. 其中 $\Delta (\vec{\alpha })$ 是归一化因子, 也可以看做是高维的 $\mathrm{B}\mathrm{e}\mathrm{t}\mathrm{a}$ 函数. (本来还想根据规律称其为狄利克雷函数, 但是这个名字已经被占用了) .
$$\Delta (\vec{\alpha })=\int \prod _{k=1}^K{\left({\vec{\theta }}_m^{(k)}\right)}^{{\alpha }_k-1}\mathrm{d}{\vec{\theta }}_m$$
还记得我上面提到的吗, 由于每篇文档都是独立的, 每个词也是, 所以生成的过程可以互相交换. 那么在每个词的 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ (也就是 $\vec{\phi }$ 与 ${\vec{z}}_m$) 已经生成的条件下, 可以将语料中的词进行交换, 将相同 $\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}$ 的词放在一起生成
$$\begin{gathered} {\vec{\mathrm{w}}}^{\prime }=({\vec{w}}_{(1)},\dots {\vec{w}}_{(K)}) \\ {\vec{\mathrm{z}}}^{\prime }=({\vec{z}}_{(1)},\dots {\vec{z}}_{(K)}) \end{gathered}$$
因此有
$$\begin{array}{rl}p(\vec{\mathrm{w}}\mid \vec{\mathrm{z}},\vec{\beta })& =p({\vec{\mathrm{w}}}^{\prime }\mid {\vec{\mathrm{z}}}^{\prime },\vec{\beta })\\ & =\prod _{k=1}^{K}p({\vec{w}}_{(k)}\mid {\vec{z}}_{(k)},\vec{\beta })\\ & =\prod _{k=1}^K\int p({\vec{w}}_{(k)}\mid {\vec{z}}_{(k)},{\vec{\phi }}_k)p({\vec{\phi }}_k\mid \vec{\beta })\mathrm{d}{\vec{\phi }}_k\\ & =\prod _{k=1}^K\int \prod _{v=1}^V{\left({\vec{\phi }}_k^{(v)}\right)}^{{\vec{n}}_k^{(v)}}\frac{1}{\Delta (\vec{\beta })}\prod _{v=1}^V{\left({\vec{\phi }}_k^{(v)}\right)}^{{\vec{\beta }}_v-1}\mathrm{d}{\vec{\phi }}_k\\ & =\prod _{k=1}^K\frac{1}{\Delta (\vec{\beta })}\int \prod _{v=1}^V{\left({\vec{\phi }}_k^{(v)}\right)}^{{\vec{n}}_k^{(v)}+{\vec{\beta }}_v-1}\mathrm{d}{\vec{\phi }}_k\\ & =\prod _{k=1}^K\frac{\Delta ({\vec{n}}_k+\vec{\beta })}{\Delta (\vec{\beta })}\end{array}$$
$\Delta (\beta )$ 同样是归一化因子
$$\Delta (\beta )=\int \prod _{v=1}^V{\left({\vec{\phi }}_k^{(v)}\right)}^{{\vec{\beta }}_v-1}\mathrm{d}{\vec{\phi }}_k$$
最终有
$$\begin{array}{rl}p(\vec{\mathrm{w}},\vec{\mathrm{z}}\mid \vec{\alpha },\vec{\beta })& =p(\vec{\mathrm{w}}\mid \vec{\mathrm{z}},\vec{\beta })p(\vec{\mathrm{z}}\mid \vec{\alpha })\\ & =\prod _{k=1}^K\frac{\Delta ({\vec{n}}_k+\vec{\beta })}{\Delta (\vec{\beta })}\prod _{m=1}^M\frac{\Delta ({\vec{n}}_m+\vec{\alpha })}{\Delta (\vec{\alpha })}\end{array}$$
多么简洁漂亮!

吉布斯采样

我们要估计的是 $p(\vec{\mathrm{z}}\mid \vec{\mathrm{w}})$ , 根据吉布斯采样的要求, 我们要求出 $p(z_i\mid {\vec{\mathrm{z}}}_{-i},\vec{\mathrm{w}})$ .
$$p(z_i=k\mid {\vec{\mathrm{z}}}_{-i},\vec{\mathrm{w}})p(w_i=v\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})=p(z_i=k,w_i=v\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})$$
注意到 $p(w_i=t\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})$ 与 $p(z_i=k\mid {\vec{\mathrm{z}}}_{-i},\vec{\mathrm{w}})$ 无关, 因此有
$$p(z_i=k\mid {\vec{\mathrm{z}}}_{-i},\vec{\mathrm{w}})\propto p(z_i=k,w_i=v\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})$$
那么就有
p ( z i = k ∣ z ⃗ − i , w ⃗ ) ∝ p ( z i = k , w i = v ∣ z ⃗ − i , w ⃗ − i ) = ( ∫ p ( z i = k , θ ⃗ m ∣ z ⃗ − i , w ⃗ − i )   d θ ⃗ m ) ( ∫ p ( w i = v , φ ⃗ k ∣ z ⃗ − i , w ⃗ − i )   d φ ⃗ k ) = ( ∫ p ( z i = k ∣ θ ⃗ m ) p ( θ ⃗ m ∣ z ⃗ − i , w ⃗ − i )   d θ ⃗ m ) ( ∫ p ( w i = v ∣ φ ⃗ k ) p ( φ ⃗ k ∣ z ⃗ − i , w ⃗ − i )   d φ ⃗ k )

$$\begin{aligned} p(z_i=k\mid\boldsymbol{\vec{\mathrm{z}}}_{-i},\vec{\boldsymbol{\mathrm{w}}})&\propto p(z_i=k,w_i=v\mid\boldsymbol{\vec{\mathrm{z}}}_{-i},\vec{\boldsymbol{\mathrm{w}}}_{-i})\\ &=\left(\int p(z_i=k,\vec\theta_m\mid\boldsymbol{\vec{\mathrm{z}}}_{-i},\vec{\boldsymbol{\mathrm{w}}}_{-i})\,\mathrm{d}\vec\theta_m\right)\left(\int p(w_i=v,\vec{\varphi}_k\mid\boldsymbol{\vec{\mathrm{z}}}_{-i},\vec{\boldsymbol{\mathrm{w}}}_{-i})\,\mathrm{d\vec\varphi_k}\right)\\ &=\left(\int p(z_i=k\mid\vec{\theta}_m)p(\vec\theta_m\mid\boldsymbol{\vec{\mathrm{z}}}_{-i},\vec{\boldsymbol{\mathrm{w}}}_{-i})\,\mathrm{d}\vec\theta_m\right)\left(\int p(w_i=v\mid \vec\varphi_k)p(\vec{\varphi}_k\mid\boldsymbol{\vec{\mathrm{z}}}_{-i},\vec{\boldsymbol{\mathrm{w}}}_{-i})\,\mathrm{d\vec\varphi_k}\right) \end{aligned}$$ p(zi​=k∣z −i​,w )​∝p(zi​=k,wi​=v∣z −i​,w −i​)=(∫p(zi​=k,θ m​∣z −i​,w −i​)dθ m​)(∫p(wi​=v,φ ​k​∣z −i​,w −i​)dφ ​k​)=(∫p(zi​=k∣θ m​)p(θ m​∣z −i​,w −i​)dθ m​)(∫p(wi​=v∣φ ​k​)p(φ ​k​∣z −i​,w −i​)dφ ​k​)​
注意到 $p({\vec{\theta }}_m\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})$ 是一个 $\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}-\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{n}\mathrm{o}\mathrm{m}\mathrm{i}\mathrm{a}\mathrm{l}$ 共轭结构即
$$Dir({\vec{\theta }}_m\mid \vec{\alpha })+Mult({\vec{n}}_m\mid {\vec{\theta }}_m)=Dir({\vec{\theta }}_m\mid {\vec{n}}_m+\vec{\alpha })$$
所以
$$p({\vec{\theta }}_m\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})=Dir({\vec{\theta }}_m\mid {\vec{n}}_{m,-i}+\vec{\alpha })$$
$p({\vec{\phi }}_k\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})$ 也有类似的结论. 因此有
$$\begin{array}{rl}p(z_i=k\mid {\vec{\mathrm{z}}}_{-i},\vec{\mathrm{w}})& \propto \left(\int p(z_i=k\mid {\vec{\theta }}_m)p({\vec{\theta }}_m\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})\mathrm{d}{\vec{\theta }}_m\right)\left(\int p(w_i=v\mid {\vec{\phi }}_k)p({\vec{\phi }}_k\mid {\vec{\mathrm{z}}}_{-i},{\vec{\mathrm{w}}}_{-i})\mathrm{d}{\vec{\phi }}_{\mathrm{k}}\right)\\ & =\left(\int {\theta }_{mk}Dir({\vec{\theta }}_m\mid {\vec{n}}_{m,-i}+\vec{\alpha })\mathrm{d}{\vec{\theta }}_m\right)\left(\int {\phi }_{kv}Dir({\vec{\phi }}_k\mid {\vec{n}}_{k,-i}+\vec{\beta })\mathrm{d}{\vec{\phi }}_{\mathrm{k}}\right)\\ & =E({\theta }_{mk})E({\phi }_{kv})\\ & ={\hat{\theta }}_{mk}{\hat{\phi }}_{kv}\end{array}$$
根据 $\mathrm{D}\mathrm{i}\mathrm{r}\mathrm{i}\mathrm{c}\mathrm{h}\mathrm{l}\mathrm{e}\mathrm{t}$ 分布的期望, 我们得到
$$\begin{gathered} {\hat{\theta }}_{mk}=\frac{{\vec{n}}_{m,-i}^{(k)}+{\alpha }_k}{{\sum }_{k=1}^K({\vec{n}}_{m,-i}^{(k)}+{\alpha }_k)} \\ {\hat{\phi }}_{kv}=\frac{{\vec{n}}_{k,-i}^{(v)}+{\alpha }_k}{{\sum }_{v=1}^V({\vec{n}}_{k,-i}^{(v)}+{\alpha }_k)} \end{gathered}$$
因此
$$p(z_i=k\mid {\vec{\mathrm{z}}}_{-i},\vec{\mathrm{w}})\propto \frac{{\vec{n}}_{m,-i}^{(k)}+{\alpha }_k}{{\sum }_{k=1}^K({\vec{n}}_{m,-i}^{(k)}+{\alpha }_k)}\cdot \frac{{\vec{n}}_{k,-i}^{(v)}+{\alpha }_k}{{\sum }_{v=1}^V({\vec{n}}_{k,-i}^{(v)}+{\alpha }_k)}$$
通过吉布斯采样, 我们就可以估计出 ${\phi }_1,{\phi }_2,\dots ,{\phi }_K$ 与 ${\vec{\theta }}_1,\dots ,{\vec{\theta }}_M$ 了.