自然语言处理-LDA主题模型_哈尔滨工程大学 自然语言处理

LDA主题模型

哈尔滨工程大学-537

一、LDA主题模型简介

LDA(Latent Dirichlet Allocation)中文翻译为：潜在狄利克雷分布。LDA主题模型是一种文档生成模型，是一种非监督机器学习技术。它认为一篇文档是有多个主题的，而每个主题又对应着不同的词。一篇文档的构造过程，首先是以一定的概率选择某个主题，然后再在这个主题下以一定的概率选出某一个词，这样就生成了这篇文档的第一个词。不断重复这个过程，就生成了整篇文章（当然这里假定词与词之间是没有顺序的，即所有词无序的堆放在一个大袋子中，称之为词袋，这种方式可以使算法相对简化一些）。

LDA的使用是上述文档生成过程的逆过程，即根据一篇得到的文档，去寻找出这篇文档的主题，以及这些主题所对应的词。

白话解释：比如document1的内容为：[自从乔布斯去世之后，iPhone再难以产生革命性的创新了]
通过上述的方法，document1将对应两个主题topic1，topic2，进而，主题topic1会对应一些词：[苹果创始人][苹果手机],主题topic2会对应一些词：[重大革新][技术突破]。于是LDA模型的好处显而易见，就是可以挖掘文档中的潜在词或者找到两篇没有相同词的文档之间的联系。

二、算法流程

（超详细，超通俗易懂，逻辑脉络超清晰）

---

我们以文档集合D中的文档d为例，文档d中包含单词序列<script type="math/tex" id="MathJax-Element-59"> </script>， $w_i$表示第 $i$个单词，设d中有$n$个单词;
文档集合D中出现的全部词组成 $Vocabulary$；
首先将文档d作为算法的输入，并输入主题数K，此时d对应到各个主题的概率为 $\theta_d=(p_{t1},p_{t2},...p_{tk})$， $p_{ti}$为d对应第 $i$个主题的概率；
此时输入到算法中的只有文档d和主题数K，那么$p_{t1},p_{t2}...p_{tk}$的数值从何而来？

---

我们首先人为设置文档d中对应主题$t_1,t_2,...t_k$的词的个数，比如文档d中5个词对应主题$t_1$，7个词对应主题$t_2$，…，4个词对应主题$t_k$，那么此时，我们就人为确定了一个参数向量(5,7,…4)，将这个向量记作$\vec{\alpha}$，这个我们人为设置的参数向量称为超参数。
那么如何将超参数$\vec{\alpha}$转化为概率分布$\theta_d=(p_{t1},p_{t2},...p_{tk})$呢？

---

这里我们引入狄利克雷分布函数：

$$Dirichlet(p_1,p_2,p_3|\alpha_1,\alpha_2,\alpha_3)=\frac{\Gamma(\alpha_1+\alpha_2+\alpha_3)}{\Gamma(\alpha_1)\Gamma(\alpha_2)\Gamma(\alpha_3)}p_1^{\alpha_1-1}p_2^{\alpha_2-2}p_3^{\alpha_3-3}$$

它所表达的含义简单来说就是，已知$\alpha_1,\alpha_2,\alpha_3$的条件下，概率$p_1,p_2,p_3$的概率分布，也就是概率的概率，分布的分布。再直观点说就是：比如在已知$\alpha_1,\alpha_2,\alpha_3$为$(5,7,4)$的条件下，样本点$p_1,p_2,p_3$为$(0.4, 0.5, 0.1)$的概率是多少。

---

那么我们将上述的三维$Dirichlet$函数扩展为$K$维，即在已知$\vec{\alpha}$的条件下，得到$\vec{p}$的分布($\vec{\alpha},\vec{p}$分别为K维向量)。$K$维$Dirichlet$公式如下：

$$Dirichlet(\vec{p}|\vec{\alpha})=\frac{\Gamma{(\sum_{k=1}^K\alpha{k})}}{\prod_{k=1}^K\Gamma(\alpha{k})}\prod_{k=1}^Kp_k^{\alpha_k-1}$$

---

至此，我们通过输入超参数$\vec{\alpha}$得到了文档d的关于K个主题的狄利克雷分布：

$$\theta_d=Dirichlet(\vec{\alpha})$$
其含义显然， $Dirichlet$的输入参数为 $\vec{\alpha}$，得到的输出为可以理解为一个矩阵：
$(p_{t1},p_{t2},...p_{tk})$
$......$
$......$
$(p_{t1},p_{t2},....p_{tk})$
即文档d对应各个主题 $t_k$的概率分布的分布。

---

同理，我们可以将任一主题$t_k$产生各个词的概率表示出来。人为设置主题$t_k$产生的各个词的数量，即设置超参数，用向量$\vec{\eta}$来表示。同上所述，将$\vec{\eta}$作为$Dirichlet$函数的输入参数，得到主题$t_k$产生各个词的狄利克雷分布：

$$\beta_k=Dirichlet(\vec{\eta})$$

---

此时我们已经得到了文档d对应各个主题的概率分布的分布（即狄利克雷分布）$\theta_d$，以及文档$t_k$产生各个词的概率分布的分布$\beta_k$，那么接下来，我们要从文档d中取出第i个词，求这个词对应各个主题的分布；
换句大家熟悉的话来说就是：已知第i个词$w_i$在文档d中出现n次，且已知它对应各个主题的概率（这里每个词对应各个主题的概率就是文档d对应各个主题的概率，二者同分布），求该词被各个主题产生的次数；
这就等同于我们熟知的一共有n个球，且已知红球、黄球、绿球的概率分别为$p_1,p_2,p_3$，求这n个求当中红球、黄球、绿球的个数。

---

那么如何通过文档d对应各个主题的分布$\theta_d$得到文档中的每个词被各个主题产生的次数，进而重新得到文档d中对应各个主题的词的个数呢？

---

首先我们引入十分熟悉的多项式分布：

$$multi(m_1,m_2,m_3|n,p_1,p_2,p_3)=\frac{n!}{m_1!m_2!m_3!}p_1^{m_1}p_2^{m_2}p_3^{m_3}$$
这个公式的意义总所周知：已知一共n个球，且知道每种颜色球的概率，就可以得到有 $m_1$个红球, $m_2$个黄球, $m_3$个绿球的概率。

---

那么同样将其扩展为K维，将$\theta_d$作为参数，就可以得到文档d中第i个词$w_i$对应的各个主题的多项式分布$z_{dn}=multi(\theta_d)$
于是，非常值得庆幸，我们通过文档d对应各个主题的概率$\theta_d$，进而得知文档d中各个词对应各个主题的概率，且知道这个词在文档d中的出现次数，于是求得这个词被各个主题的产生次数，遍历文档d中的每一个词，就可以得到新的文档d中对应各个主题的词的个数。
白话举例：文档d对应主题$t_1, t_2$的概率分别为$p_{t1}, p_{t2},$，于是文档d中词$w_1$对应的主题$t_1, t_2,$的概率也分别为$p_{t1}, p_{t2}$，又得知词$w_1$在文档d中出现了15次，于是得到词$w_1$由主题$t_1, t_2$产生的次数分别为10次、5次（这个是假设的）;
对文档d中的每个词都执行此操作，（假设文档中只有两个词）词$w_2$由主题$t_1, t_2$产生的次数分别为13次、2次，于是就能重新得到文档d中对应各个主题的词的数量，即对应主题$t_1, t_2$的词的数量分别为2个、0个（初始的d中对应各个主题的词的数量是人为设定的超参数$\vec{\alpha}$）。

---

于是，我们最终得到了文档d对应各个主题的词的个数的更新值：记作向量$\vec{n}$,我们将更新后的向量$\vec{n}$再次作为狄利克雷分布的输入向量，即$Dirichlet(\theta_d|\vec{n})$,就会又会得到文档d对应各个主题的概率的更新值，即更新的$\theta_d$，如此反复迭代，最终得到收敛的$\theta_d$，即为我们要的结果。

---

有了以上的经验，主题$t_k$产生各个词的概率$\beta_k$可以同样处理，对于产生文档d中的第$i$个词$w_i$的各个主题的分布为：
$multi(\beta^i)$,于是用同上面相同的方法，可以得到更新后的各个主题产生各个单词的数量：记作向量$\vec{m}$，将向量$\vec{m}$作为新的参数再次带入狄利克雷分布$Dirichlet(\beta_k|\vec{m})$,就又会得到每个主题产生各个词的概率，即更新的$\beta_k$，如此反复迭代，最终得到收敛的$\beta_k$,即所求结果。

---

得到了收敛的$\theta_d$和$\beta_k$，算法就大功告成了，这时，该算法就会根据输入的文档d，找到潜在主题下的相关词啦！！！！

++++++++++++++++++++++++++++++++++++++++
个人整理，水平有限，可能存在很多错误，希望大家一起探讨研究，还有关于为什么选用狄利克雷分布以及狄利克雷分布和多项式分布之间的关系、先验概率后验概率等内容并没有仔细探讨，作者现在已经生不如死了，先休息休息，过几天再补充吧！！
++++++++++++++++++++++++++++++++++++++++