通俗理解LDA主题模型 zz_lda主题模型快速入门

原文地址：http://www.note4j.com/?p=113

0 前言

印象中，最开始听说“LDA”这个名词，是缘于rickjin在2013年3月写的一个LDA科普系列，叫LDA数学八卦，我当时一直想看来着，记得还打印过一次，但不知是因为这篇文档的前序铺垫太长（现在才意识到这些“铺垫”都是深刻理解LDA 的基础，但如果没有人帮助初学者提纲挈领、把握主次、理清思路，则很容易陷入LDA的细枝末节之中），还是因为其中的数学推导细节太多，导致一直没有完整看完过。

2013年12月，在我组织的Machine Learning读书会第8期上，@夏粉_百度 讲机器学习中排序学习的理论和算法研究，@沈醉2011 则讲主题模型的理解。又一次碰到了主题模型，当时貌似只记得沈博讲了一个汪峰写歌词的例子，依然没有理解LDA到底是怎样一个东西（但理解了LDA之后，再看沈博主题模型的PPT会很赞）。

直到昨日下午，机器学习班第12次课上，邹博讲完LDA之后，才真正明白LDA原来是那么一个东东！上完课后，趁热打铁，再次看LDA数学八卦，发现以前看不下去的文档再看时竟然一路都比较顺畅，一口气看完大部。看完大部后，思路清晰了，知道理解LDA，可以分为下述5个步骤：

1. 一个函数：gamma函数
2. 四个分布：二项分布、多项分布、beta分布、Dirichlet分布
3. 一个概念和一个理念：共轭先验和贝叶斯框架
4. 两个模型：pLSA、LDA（在本文第4 部分阐述）
5. 一个采样：Gibbs采样

本文便按照上述5个步骤来阐述，希望读者看完本文后，能对LDA有个尽量清晰完整的了解。同时，本文基于邹博讲LDA的PPT、rickjin的LDA数学八卦及其它参考资料写就，可以定义为一篇学习笔记或课程笔记，当然，后续不断加入了很多自己的理解。若有任何问题，欢迎随时于本文评论下指出，thanks。

1 gamma函数

1.0 整体把握LDA

关于LDA有两种含义，一种是线性判别分析（Linear Discriminant Analysis），一种是概率主题模型：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），本文讲后者（前者会在后面的博客中阐述）。

另外，我先简单说下LDA的整体思想，不然我怕你看了半天，铺了太长的前奏，却依然因没见到LDA的影子而显得“心浮气躁”，导致不想再继续看下去。所以，先给你吃一颗定心丸，明白整体框架后，咱们再一步步抽丝剥茧，展开来论述。

按照wiki上的介绍，LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出，是一种主题模型，它可以将文档集中每篇文档的主题以概率分布的形式给出，从而通过分析一些文档抽取出它们的主题（分布）出来后，便可以根据主题（分布）进行主题聚类或文本分类。同时，它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。此外，一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

LDA的这三位作者在原始论文中给了一个简单的例子。比如假设事先给定了这几个主题：Arts、Budgets、Children、Education，然后通过学习的方式，获取每个主题Topic对应的词语。如下图所示：

然后以一定的概率选取上述某个主题，再以一定的概率选取那个主题下的某个单词，不断的重复这两步，最终生成如下图所示的一篇文章（其中不同颜色的词语分别对应上图中不同主题下的词）：

其中，类似Beta分布是二项式分布的共轭先验概率分布，而狄利克雷分布（Dirichlet分布）是多项式分布的共轭先验概率分布。

此外，LDA的图模型结构如下图所示（类似贝叶斯网络结构）：

恩，不错，短短6句话整体概括了整个LDA的主体思想！但也就是上面短短6句话，却接连不断或重复出现了二项分布、多项式分布、beta分布、狄利克雷分布（Dirichlet分布）、共轭先验概率分布、取样，那么请问，这些都是啥呢？

这里先简单解释下二项分布、多项分布、beta分布、Dirichlet 分布这4个分布。

•  二项分布（Binomial distribution）。

二项分布是从伯努利分布推进的。伯努利分布，又称两点分布或0-1分布，是一个离散型的随机分布，其中的随机变量只有两类取值，非正即负{+，-}。而二项分布即重复n次的伯努利试验，记为 。简言之，只做一次实验，是伯努利分布，重复做了n次，是二项分布。二项分布的概率密度函数为：

 

• 多项分布，是二项分布扩展到多维的情况。

OK，接下来，咱们就按照本文开头所说的思路：“一个函数：gamma函数，四个分布：二项分布、多项分布、beta分布、Dirichlet分布，外加一个概念和一个理念：共轭先验和贝叶斯框架，两个模型：pLSA、LDA（文档-主题，主题-词语），一个采样：Gibbs采样”一步步详细阐述，争取给读者一个尽量清晰完整的LDA。

（当然，如果你不想深究背后的细节原理，只想整体把握LDA的主体思想，可直接跳到本文第4 部分，看完第4部分后，若还是想深究背后的细节原理，可再回到此处开始看）

1.1 gamma函数

咱们先来考虑一个问题（此问题1包括下文的问题2-问题4皆取材自LDA数学八卦）：

1. 问题1 随机变量
2. 把这n 个随机变量排序后得到顺序统计量
3. 然后请问的分布是什么。

为解决这个问题，可以尝试计算落在区间[x,x+Δx]的概率。即求下述式子的值：

首先，把 [0,1] 区间分成三段 [0,x)，[x,x+Δx]，(x+Δx,1]，然后考虑下简单的情形：即假设n 个数中只有1个落在了区间 [x,x+Δx]内，由于这个区间内的数X(k)是第k大的，所以[0,x)中应该有 k−1 个数，(x+Δx,1] 这个区间中应该有n−k 个数。如下图所示：

至此，本节开头提出的问题得到解决。然仔细观察的概率密度函数，发现式子的最终结果有阶乘，联想到阶乘在实数上的推广函数：

两者结合是否会产生奇妙的效果呢？考虑到具有如下性质：

故将代入到的概率密度函数中，可得：

然后取，，转换得到：

如果熟悉beta分布的朋友，可能会惊呼：哇，竟然推出了beta分布！

2 beta分布

2.1 beta分布

2.2 Beta-Binomial 共轭

针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial共轭。换言之，Beta分布是二项式分布的共轭先验概率分布。

二项分布和Beta分布是共轭分布意味着，如果我们为二项分布的参数p选取的先验分布是Beta分布，那么以p为参数的二项分布用贝叶斯估计得到的后验分布仍然服从Beta分布。

2.3 共轭先验分布

2.4 从beta分布推广到Dirichlet 分布

最后的这个结果意味着对于Beta 分布的随机变量，其均值（期望）可以用来估计。此外，狄利克雷Dirichlet 分布也有类似的结论，即如果，同样可以证明有下述结论成立：

那什么是Dirichlet 分布呢？简单的理解Dirichlet 分布就是一组连续多变量概率分布，是多变量普遍化的beta分布。为了纪念德国数学家约翰·彼得·古斯塔夫·勒热纳·狄利克雷（Peter Gustav Lejeune Dirichlet）而命名。狄利克雷分布常作为贝叶斯统计的先验概率。

3 Dirichlet 分布

3.1 Dirichlet 分布

根据wikipedia上的介绍，维度K ≥ 2（x1,x2…xK-1维，共K个）的狄利克雷分布在参数α1, …, αK > 0上、基于欧几里得空间RK-1里的勒贝格测度有个概率密度函数，定义为：

其中，相当于是多项beta函数

且

此外，x1+x2+…+xK-1+xK=1，x1,x2…xK-1>0，且在(K-1)维的单纯形上，其他区域的概率密度为0。

当然，也可以如下定义Dirichlet 分布

其中的称为Dirichlet 分布的归一化系数：

3.2 Dirichlet-Multinomial 共轭

下面，在2.2节问题2的基础上继续深入，引出问题3。

• ，
• 排序后对应的顺序统计量,
• 问的联合分布是什么？

从而有：

继而得到于是我们得到的联合分布为：

观察上述式子的最终结果，可以看出上面这个分布其实就是3维形式的 Dirichlet 分布

令，于是分布密度可以写为

这个就是一般形式的3维 Dirichlet 分布，即便延拓到非负实数集合，以上概率分布也是良定义的。

将Dirichlet分布的概率密度函数取对数，绘制对称Dirichlet分布的图像如下图所示（截取自wikipedia上）：

上图中，取K=3，也就是有两个独立参数x1,x2，分别对应图中的两个坐标轴，第三个参数始终满足x3=1-x1-x2且α1=α2=α3=α，图中反映的是参数α从α=(0.3, 0.3, 0.3)变化到(2.0, 2.0, 2.0)时的概率对数值的变化情况。

为了论证Dirichlet分布是多项式分布的共轭先验概率分布，下面咱们继续在上述问题3的基础上再进一步，提出问题4。

1. 问题4  ，排序后对应的顺序统计量
2. 令,,（此处的p3非变量，只是为了表达方便），现在要猜测；
3. ，Yi中落到，， 三个区间的个数分别为 m1,m2,m3，m=m1+m2+m3；
4.  问后验分布的分布是什么。

为了方便讨论，记，及，根据已知条件“，Yi中落到，， 三个区间的个数分别为 m1,m2”，可得、分别是这m+n个数中第大、第大的数。于是，后验分布应该为，即一般化的形式表示为：。

同样的，按照贝叶斯推理的逻辑，可将上述过程整理如下：

1.  我们要猜测参数，其先验分布为；
2.  数据Yi落到三个区间，， 的个数分别为，所以服从多项分布
3.  在给定了来自数据提供的知识后，的后验分布变为

上述贝叶斯分析过程的直观表述为：

令，可把从整数集合延拓到实数集合，从而得到更一般的表达式如下：

4 主题模型LDA

在开始下面的旅程之前，先来总结下我们目前所得到的最主要的几个收获：

• 通过上文的第2.2节，我们知道beta分布是二项式分布的共轭先验概率分布：
  •  “对于非负实数和，我们有如下关系

其中对应的是二项分布的计数。针对于这种观测到的数据符合二项分布，参数的先验分布和后验分布都是Beta分布的情况，就是Beta-Binomial 共轭。”

• 通过上文的3.2节，我们知道狄利克雷分布（Dirichlet分布）是多项式分布的共轭先验概率分布：
  • “ 把从整数集合延拓到实数集合，从而得到更一般的表达式如下：

• 以及贝叶斯派思考问题的固定模式：

  • 先验分布 + 样本信息  后验分布
      上述思考模式意味着，新观察到的样本信息将修正人们以前对事物的认知。换言之，在得到新的样本信息之前，人们对 的认知是先验分布 ，在得到新的样本信息 后，人们对 的认知为 。
• 顺便提下频率派与贝叶斯派各自不同的思考方式：
  • 频率派把需要推断的参数θ看做是固定的未知常数，即概率虽然是未知的，但最起码是确定的一个值，同时，样本X 是随机的，所以频率派重点研究样本空间，大部分的概率计算都是针对样本X 的分布；
  • 而贝叶斯派的观点则截然相反，他们认为待估计的参数是随机变量，服从一定的分布，而样本X 是固定的，由于样本是固定的，所以他们重点研究的是参数的分布。

OK，在杀到终极boss——LDA模型之前，再循序渐进理解基础模型：Unigram model、mixture of unigrams model，以及跟LDA最为接近的pLSA模型。

为了方便描述，首先定义一些变量：

• 表示词，表示所有单词的个数（固定值）
• 表示主题，是主题的个数（预先给定，固定值）
• 表示语料库，其中的是语料库中的文档数（固定值）
• 表示文档，其中的表示一个文档中的词数（随机变量）

4.1 各个基础模型

4.1.1 Unigram model

对于文档，用表示词的先验概率，生成文档的概率为：

其图模型为（图中被涂色的w表示可观测变量，N表示一篇文档中总共N个单词，M表示M篇文档）：

或为：

unigram model假设文本中的词服从Multinomial分布，而我们已经知道Multinomial分布的先验分布为Dirichlet分布。
上图中的表示在文本中观察到的第n个词，n∈[1,N]表示该文本中一共有N个单词。加上方框表示重复，即一共有N个这样的随机变量。其中，p和α是隐含未知变量：

• p是词服从的Multinomial分布的参数
• α是Dirichlet分布（即Multinomial分布的先验分布）的参数。

一般α由经验事先给定，p由观察到的文本中出现的词学习得到，表示文本中出现每个词的概率。

4.1.2 Mixture of unigrams model

4.2 PLSA模型

4.2.1 什么是pLSA模型

由于可事先计算求出，而和未知，所以就是我们要估计的参数（值），通俗点说，就是要最大化这个θ。

用什么方法进行估计呢，常用的参数估计方法有极大似然估计MLE、最大后验证估计MAP、贝叶斯估计等等。因为该待估计的参数中含有隐变量z，所以我们可以考虑EM算法。

4.2.2 EM算法的简单介绍

EM算法，全称为Expectation-maximization algorithm，为期望最大算法，其基本思想是：首先随机选取一个值去初始化待估计的值，然后不断迭代寻找更优的使得其似然函数likelihood 比原来的要大。换言之，假定现在得到了，想求，使得

EM的关键便是要找到的一个下界（注：，其中，X表示已经观察到的随机变量），然后不断最大化这个下界，通过不断求解下界的极大化，从而逼近要求解的似然函数。

所以EM算法的一般步骤为：

• 1. 随机选取或者根据先验知识初始化；
• 2. 不断迭代下述两步
  • ①给出当前的参数估计，计算似然函数的下界
  • ②重新估计参数θ，即求，使得
• 3. 上述第二步后，如果收敛（即收敛）则退出算法，否则继续回到第二步。

上述过程好比在二维平面上，有两条不相交的曲线，一条曲线在上（简称上曲线），一条曲线在下（简称下曲线），下曲线为上曲线的下界。现在对上曲线未知，只已知下曲线，为了求解上曲线的最高点，我们试着不断增大下曲线，使得下曲线不断逼近上曲线，下曲线在某一个点达到局部最大值并与上曲线在这点的值相等，记录下这个值，然后继续增大下曲线，寻找下曲线上与上曲线上相等的值，迭代到收敛（即收敛）停止，从而利用当前下曲线上的局部最大值当作上曲线的全局最大值（换言之，EM算法不保证一定能找到全局最优值）。如下图所示：

以下是详细介绍。

假定有训练集，包含m个独立样本，希望从中找到该组数据的模型p(x,z)的参数。

然后通过极大似然估计建立目标函数–对数似然函数：

这里，z是隐随机变量，直接找到参数的估计是很困难的。我们的策略是建立的下界，并且求该下界的最大值；重复这个过程，直到收敛到局部最大值。

令Qi是z的某一个分布，Qi≥0，且结合Jensen不等式，有：

为了寻找尽量紧的下界，我们可以让使上述等号成立，而若要让等号成立的条件则是：

换言之，有以下式子成立：，且由于有：

所以可得：

最终得到EM算法的整体框架如下：

OK，EM算法还会在本博客后面的博文中具体阐述。接下来，回到pLSA参数的估计问题上。

4.2.3 EM算法估计pLSA的两未知参数

首先尝试从矩阵的角度来描述待估计的两个未知变量和。

• 假定用表示词表在主题上的一个多项分布，则可以表示成一个向量，每个元素表示词项出现在主题中的概率，即

• 用表示所有主题在文档上的一个多项分布，则可以表示成一个向量，每个元素表示主题出现在文档中的概率，即

这样，巧妙的把和转换成了两个矩阵。换言之，最终我们要求解的参数是这两个矩阵：

由于词和词之间是相互独立的，所以整篇文档N个词的分布为：

再由于文档和文档之间也是相互独立的，所以整个语料库中词的分布为（整个语料库M篇文档，每篇文档N个词）：

其中，表示词项在文档中的词频，表示文档di中词的总数，显然有。
从而得到整个语料库的词分布的对数似然函数（下述公式中有个小错误，正确的应该是：N为M，M为N）：

现在，我们需要最大化上述这个对数似然函数来求解参数和。对于这种含有隐变量的最大似然估计，可以使用EM算法。EM算法，分为两个步骤：先E-step，后M-step。

• E-step：假定参数已知，计算此时隐变量的后验概率。

利用贝叶斯法则，可以得到：

• M-step：带入隐变量的后验概率，最大化样本分布的对数似然函数，求解相应的参数。

观察之前得到的对数似然函数的结果，由于文档长度可以单独计算，所以去掉它不影响最大化似然函数。此外，根据E-step的计算结果，把 代入，于是我们只要最大化下面这个函数  即可（下述公式中有个小错误，正确的应该是：N为M，M为N）：

这是一个多元函数求极值问题，并且已知有如下约束条件（下述公式中有个小错误，正确的应该是：M为N）：

熟悉凸优化的朋友应该知道，一般处理这种带有约束条件的极值问题，常用的方法便是拉格朗日乘数法，即通过引入拉格朗日乘子将约束条件和多元（目标）函数融合到一起，转化为无约束条件的极值问题。

这里我们引入两个拉格朗日乘子和，从而写出拉格朗日函数（下述公式中有个小错误，正确的应该是：N为M，M为N）：

因为我们要求解的参数是和，所以分别对和求偏导，然后令偏导结果等于0，得到（下述公式中有个小错误，正确的应该是：N为M，M为N）：

消去拉格朗日乘子，最终可估计出参数和（下述公式中有个小错误，正确的应该是：N为M，M为N）：

综上，在pLSA中：

1. 由于和未知，所以我们用EM算法去估计这个参数的值。
2. 而后，用表示词项出现在主题中的概率，即，用表示主题出现在文档中的概率，即，从而把转换成了“主题-词项”矩阵Φ（主题生成词），把转换成了“文档-主题”矩阵Θ（文档生成主题）。
3. 最终求解出、。

4.3 LDA模型

事实上，理解了pLSA模型，也就差不多快理解了LDA模型，因为LDA就是在pLSA的基础上加层贝叶斯框架，即LDA就是pLSA的贝叶斯版本（正因为LDA被贝叶斯化了，所以才需要考虑历史先验知识，才加的两个先验参数）。

4.3.1 pLSA跟LDA的对比：生成文档与参数估计

在pLSA模型中，我们按照如下的步骤得到“文档-词项”的生成模型：

下面，咱们对比下本文开头所述的LDA模型中一篇文档生成的方式是怎样的：

4.3.5 LDA参数估计：Gibbs采样

理清了LDA中的物理过程，下面咱们来看下如何学习估计。

类似于pLSA，LDA的原始论文中是用的变分-EM算法估计未知参数，后来发现另一种估计LDA未知参数的方法更好，这种方法就是：Gibbs Sampling，有时叫Gibbs采样或Gibbs抽样，都一个意思。Gibbs抽样是马尔可夫链蒙特卡尔理论（MCMC）中用来获取一系列近似等于指定多维概率分布（比如2个或者多个随机变量的联合概率分布）观察样本的算法。

OK，给定一个文档集合，w是可以观察到的已知变量，和是根据经验给定的先验参数，其他的变量z，θ和φ都是未知的隐含变量，需要根据观察到的变量来学习估计的。根据LDA的图模型，可以写出所有变量的联合分布：

注：上述公式中及下文中，等价上文中定义的，等价于上文中定义的，等价于上文中定义的，等价于上文中定义的。

因为产生主题分布θ，主题分布θ确定具体主题，且产生词分布φ、词分布φ确定具体词，所以上述式子等价于下述式子所表达的联合概率分布：

其中，第一项因子表示的是根据确定的主题和词分布的先验分布参数采样词的过程，第二项因子是根据主题分布的先验分布参数采样主题的过程，这两项因子是需要计算的两个未知参数。

由于这两个过程是独立的，所以下面可以分别处理，各个击破。

第一个因子，可以根据确定的主题和从先验分布取样得到的词分布Φ产生：

由于样本中的词服从参数为主题的独立多项分布，这意味着可以把上面对词的乘积分解成分别对主题和对词的两层乘积：

其中，是词 t 在主题 k 中出现的次数。

回到第一个因子上来。目标分布需要对词分布Φ积分，且结合我们之前在3.1节定义的Dirichlet 分布的归一化系数的公式

可得：

这个结果可以看作K个Dirichlet-Multinomial模型的乘积。
现在开始求第二个因子。类似于的步骤，先写出条件分布，然后分解成两部分的乘积：

其中， 表示的单词 i 所属的文档，是主题 k 在文章 m 中出现的次数。

对主题分布Θ积分可得：

综合第一个因子和第二个因子的结果，得到的联合分布结果为：

5 读者微评

6 参考文献与推荐阅读

1. Blei, David M.; Ng, Andrew Y.; Jordan, Michael I. Latent Dirichlet allocation（LDA原始论文）：http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf。
2. Blei. Probabilistic Topic Models：http://www.cs.princeton.edu/~blei/papers/Blei2012.pdf，一网友的翻译：http://www.cnblogs.com/siegfang/archive/2013/01/30/2882391.html；
3. 一堆wikipedia，比如隐含狄利克雷分布LDA的wiki：http://zh.wikipedia.org/wiki/%E9%9A%90%E5%90%AB%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83，狄利克雷分布的wiki：http://zh.wikipedia.org/wiki/%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83；
4. 从贝叶斯方法谈到贝叶斯网络 ；
5. rickjin的LDA数学八卦（力荐，本文部分图片和公式来自于此文档）网页版：http://www.flickering.cn/tag/lda/，PDF版：http://emma.memect.com/t/9756da9a47744de993d8df13a26e04e38286c9bc1c5a0d2b259c4564c6613298/LDA；
6. Thomas Hofmann.Probabilistic Latent Semantic Indexing（pLSA原始论文）：http://cs.brown.edu/~th/papers/Hofmann-SIGIR99.pdf；
7. Gregor Heinrich.Parameter estimation for text analysis（关于Gibbs 采样最精准细致的论述）：http://www.arbylon.net/publications/text-est.pdf；
8. Probabilistic latent semantic analysis (pLSA)：http://blog.tomtung.com/2011/10/plsa/http://blog.tomtung.com/2011/10/plsa/。
9. 《概率论与数理统计教程第二版 茆诗松等人著》，如果忘了相关统计分布，建议复习此书或此文第二部分；
10. 《支持向量机通俗导论：理解SVM的三层境界》，第二部分关于拉格朗日函数的讨论；
11. 机器学习班第11次课上，邹博讲EM & GMM的PPT：http://pan.baidu.com/s/1i3zgmzF；
12. 机器学习班第12次课上，邹博讲主题模型LDA的PPT：http://pan.baidu.com/s/1jGghtQm；
13. 主题模型之pLSA：http://blog.jqian.net/post/plsa.html；
14. 主题模型之LDA：http://blog.jqian.net/post/lda.html；
15. 搜索背后的奥秘——浅谈语义主题计算：http://www.semgle.com/search-engine-algorithms-mystery-behind-search-on-the-calculation-of-semantic-topic；
16. LDA的EM推导：http://www.cnblogs.com/hebin/archive/2013/04/25/3043575.html；
17. Machine Learning读书会第8期上，沈博讲主题模型的PPT：http://vdisk.weibo.com/s/zrFL6OXKgKMAf；
18. Latent Dirichlet Allocation （LDA）- David M.Blei：http://www.xperseverance.net/blogs/2012/03/17/；
19. 用GibbsLDA做Topic Modeling：http://weblab.com.cityu.edu.hk/blog/luheng/2011/06/24/%E7%94%A8gibbslda%E5%81%9Atopic-modeling/#comment-87；
20. 主题模型在文本挖掘中的应用：http://net.pku.edu.cn/~zhaoxin/Topic-model-xin-zhao-wayne.pdf；
21. 二项分布和多项分布，beta分布的对比：http://www.cnblogs.com/wybang/p/3206719.html；
22. LDA简介：http://cos.name/2010/10/lda_topic_model/；
23. LDA的相关论文、工具库：http://site.douban.com/204776/widget/notes/12599608/note/287085506/；
24. 一个网友学习LDA的心得：http://www.xuwenhao.com/2011/03/20/suggestions-for-programmers-to-learn-lda/；
25. http://blog.csdn.net/hxxiaopei/article/details/7617838；
26. 主题模型LDA及其在微博推荐&广告算法中的应用：http://www.wbrecom.com/?p=136；
27. LDA发明人之一Blei 写的毕业论文：http://www.cs.princeton.edu/~blei/papers/Blei2004.pdf；
28. LDA的一个C实现：http://www.cs.princeton.edu/~blei/lda-c/index.html；
29. LDA的一些其它资料：http://www.xperseverance.net/blogs/2012/03/657/。

7 后记