赞
踩
鬼吹灯文本挖掘1:jieba分词和CountVectorizer向量化
注:tfidf_mat数据准备可参考鬼吹灯文本挖掘3
1. Sklearn实现LDA模型,并提取文档主题
(1)其中参数n_topics是主题个数,max_iter是迭代次数
(2)lda_model.components_中每行代表一个主题,每行中的每个元素代表对应词属于这个主题的得分
- from sklearn.decomposition import LatentDirichletAllocation
- n_topics = 8 # 自定义主题个数
- lda_model = LatentDirichletAllocation(n_topics = n_topics, max_iter = 10)
- # 使用TF-IDF矩阵拟合LDA模型
- lda_model.fit(tfidf_mat)
-
- # 拟合后模型的实质
- print(lda_model.components_.shape)
- lda_model.components_[:2]
-
- (8, 1654)
- Out[105]:
- array([[0.30237038, 0.29720752, 0.31504618, ..., 0.33985295, 0.2906448 ,
- 0.3043558 ],
- [0.29870912, 0.30435234, 0.31793515, ..., 0.3215601 , 0.32073196,
- 0.31859002]])
(3)其中argsort() 取元素的索引值,并将指最小的元素对应的索引值放在最前面,依次按元素值的大小顺序排列。
对列表操作[:-n_top_words-1:-1] 表示取最后n_top_words个元素后,再将这些元素顺序逆转。
即取元素值最大的前n_top_words个元素对应索引值。
- # 主题词打印函数
- def print_top_words(model, feature_names, n_top_words):
- for topic_idx,topic in enumerate(model.components_):
- print("Topic #%d:"%topic_idx)
- print(" ".join([feature_names[i] for i in topic.argsort()[:-n_top_words-1:-1]]))
-
- print()
-
- n_top_words = 12
- tf_feature_names = c_vectorizer.get_feature_names()
- print_top_words(lda_model, tf_feature_names, n_top_words)
-
- Topic #0:
- 强烈 遭到 肚子 亲自 有名 打着 不可思议 全是 半截 遇到 一层 下去
- Topic #1:
- 将近 考古 详细 突然 大个子 人们 照明 听说 空气 说起 小孩 最后
- Topic #2:
- 故事 胖子 方向 沙漠 岔开 马上 也许 地下 沙子 不停 好像 激动
- Topic #3:
- 全都 接近 一天 研究 只见 接触 感觉 解放军 扔进 所有人 地下 漆黑
- Topic #4:
- 一个 我们 火焰 要塞 这座 棺材 看来 一边 上去 胖子 昏迷不醒 双手
- Topic #5:
- 时候 那么 超过 一面 里面 山石 胖子 两具 玉石 接近 什么 整整
- Topic #6:
- 外边 精绝 找个 最高 坚固 下边 遇到 进行 手上 沙漠 规模 一丝
- Topic #7:
- 我们 胖子 什么 一个 没有 沙漠 他们 就是 咱们 陈教授 但是 这些
2. gensim实现LDA模型
(1)计算TF-IDF矩阵:
- # 文档处理,提取主题词
- def my_cut2(inTxt):
- inTxt = re.sub('[a-zA-Z0-9]','',inTxt)
- jieba.lcut(inTxt)
- words_list = jieba.lcut(inTxt)
- return [w for w in words_list if w not in stop_words_dict and len(w) > 1]
-
- chaplist = [my_cut2(w) for w in gcd1_chap.words_list] # 形式为list of list
-
- from gensim import corpora, models
-
- dictionary = corpora.Dictionary(chaplist)
- corpus = [dictionary.doc2bow(text) for text in chaplist] # 仍为list of list
- corpus # 稀疏矩阵,第一个元素为词的序号,第二个为词频
-
- tfidf_model = models.TfidfModel(corpus) # 建立TF-IDF模型
- corpus_tfidf = tfidf_model[corpus] # 对所需文档计算TF-IDF结果, 不能直接被sklearn使用
- corpus_tfidf
- <gensim.interfaces.TransformedCorpus at 0x2c2941e7048>
(2)建立LDA模型:LdaModel,print_topics()模型打印出的主题不一定是按原文档的顺序打印的,而是按主题的重要程度 打印的。
- from gensim.models import LdaModel
-
- #列出所消耗时间备查
- %time ldamodel = LdaModel(corpus_tfidf, id2word = dictionary, num_topics = 8, passes = 10) # passes表示迭代循环次数
-
- # 列出最重要的前若干个主题
- ldamodel.print_topics()
-
- [(0,
- '0.001*"石匣" + 0.000*"先知" + 0.000*"羊皮" + 0.000*"陈教授" + 0.000*"预言" + 0.000*"沙漠" + 0.000*"石梁" + 0.000*"红犼" + 0.000*"尸香魔芋" + 0.000*"狼牙棒"'),
- (1,
- '0.000*"蝙蝠" + 0.000*"草原大地獭" + 0.000*"沙漠" + 0.000*"英子" + 0.000*"骆驼" + 0.000*"冲锋枪" + 0.000*"安力满" + 0.000*"要塞" + 0.000*"黑沙漠" + 0.000*"棺材"'),
- (2,
- '0.000*"胡国华" + 0.000*"孙先生" + 0.000*"野人" + 0.000*"燕子" + 0.000*"郝爱国" + 0.000*"屯子" + 0.000*"山口" + 0.000*"城中" + 0.000*"安力满" + 0.000*"插队"'),
- (3,
- '0.000*"幻觉" + 0.000*"耳光" + 0.000*"摸金符" + 0.000*"制造" + 0.000*"解开" + 0.000*"盗墓者" + 0.000*"大祭司" + 0.000*"搞清楚" + 0.000*"圣者" + 0.000*"药物"'),
- (4,
- '0.000*"洛宁" + 0.000*"大个子" + 0.000*"班长" + 0.000*"指导员" + 0.000*"火球" + 0.000*"雪崩" + 0.000*"赵萍萍" + 0.000*"霸王蝾螈" + 0.000*"平台" + 0.000*"石柱"'),
- (5,
- '0.000*"野猪" + 0.000*"洛宁" + 0.000*"九层妖楼" + 0.000*"刘工" + 0.000*"云母" + 0.000*"殉葬" + 0.000*"先知" + 0.000*"骆驼" + 0.000*"沙漠" + 0.000*"先圣"'),
- (6,
- '0.000*"胡国华" + 0.000*"野猪" + 0.000*"老鼠" + 0.000*"英子" + 0.000*"舅舅" + 0.000*"石像" + 0.000*"野人" + 0.000*"王二" + 0.000*"杠子" + 0.000*"大金牙"'),
- (7,
- '0.000*"大金牙" + 0.000*"洛阳铲" + 0.000*"摸金校尉" + 0.000*"倒斗" + 0.000*"奉献" + 0.000*"唇典" + 0.000*"匣子" + 0.000*"元良" + 0.000*"黑道" + 0.000*"铁钎"')]
(3) 检索和文本内容最接近的主题
a. 根据词频向量进行计算
- # 检索和文本内容最接近的主题
- query = gcd1_chap.txt[1] # 检索和第一回最接近的主题
- query_bow = dictionary.doc2bow(my_cut2(query)) # 频数向量
- query_idf = tfidf_model[query_bow] # TF-IDF向量
-
- ldamodel.get_document_topics(query_bow) # 需要输入和文档对应的bow向量
- [(0, 0.030599635), (6, 0.96860933)]
- ldamodel[query_bow] # 和以下语句的结果一致 ldamodel.get_document_topics(query_bow)
- [(0, 0.030602157), (6, 0.9686068)]
b. 根据TF-IDF向量进行计算
- ldamodel.get_document_topics(query_idf)
- [(6, 0.93530923)]
-
- ldamodel[query_idf] # 和以下语句的结果一致 ldamodel.get_document_topics[query_idf]
- [(6, 0.9353105)]
c. 验证:可以看出 "字符串query和第6个主题高度接近" 这个结论还是比较靠谱的
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。