LDA主题模型的原理及使用教程_lda主题模型原理介绍

这是一个NLP参赛项目的主题分析环节的代码，总体的工程代码已经上传至github，可以直接下载使用。

https://github.com/stay-leave/weibo-public-opinion-analysis

现在将思路分享给大家。

一、原理介绍

LDA主题模型是Blei等人于2003年提出的一种文档主题生成模型，包括文档、主题和词项3个层级结构。LDA常被用于识别语料中潜在的主题信息。
LDA认为第m篇文档的生成方式如下：
1.对每个主题k∈[1,K]，生成“主题-词项”分布 φ⃗ k∼Dir(β⃗ )；
2.生成文档m的“文档-主题”分布ϑ⃗ m∼Dir(α⃗ )；
3.生成文档m的长度Nm∼Poiss(ξ)；
4.对文档m中的每个词n∈[1,Nm]，生成当前位置的所属主题 zm,n∼Mult(ϑ⃗ m)；
5.根据之前生成的主题分布，生成当前位置的词的相应词项 wm,n∼Mult(φ⃗ zm,n)。
因此，我们的工作是要进行逆推导，从若干词项中找出文档的能够代表文档主题的。

二、代码实现

使用Python的开源第三方库Gensim对热搜博文进行LDA主题分析。

1.对文本进行清洗及分词

微博数据的清洗异常复杂，清洗代码如下：

def clean(line):
    """对一个文件的数据进行清洗"""
    rep=['【】','【','】','
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/361034