当前位置:   article > 正文

使用python读取多个文件夹中的文本文档并根据词频绘制词云图(以txt为例,附代码)_python根据词频绘制词云counter

python根据词频绘制词云counter

本文主要介绍如何从多个文件夹中读取txt文件,将所有的txt文档合并为txts,然后利用jieba分词,并统计txts中各个词语出现的词频,选取出现最多的十个词语绘制词云图。

  1. import re # 正则表达式库
  2. import collections # 词频统计库
  3. import numpy as np # numpy数据处理库
  4. import jieba # 结巴分词
  5. import wordcloud # 词云展示库
  6. from PIL import Image # 图像处理库
  7. import matplotlib.pyplot as plt # 图像展示库
  8. import os
  9. # 定义文件夹路径
  10. folder_paths = ["","","","","","","",""] # 替换为你的文件夹路径
  11. # 读取并合并所有txt文件
  12. txts=[]
  13. for folder_path in folder_paths:#遍历各个文件夹
  14. for file_name in os.listdir(folder_path):
  15. if file_name.endswith('.txt'):#寻找每个文件夹中的txt文件
  16. file_path = os.path.join(folder_path, file_name)
  17. with open(file_path, 'r', encoding='utf-8') as f:
  18. file_content = f.read()#读取文本内容
  19. txts.append(file_content)#将读取的文本内容加入到txts文件中
  20. txts = ','.join(txts)
  21. # 文本预处理
  22. pattern = re.compile(u'\t|\n|\.|-|:|;|\)|\(|\?|"')# 定义正则表达式匹配模式
  23. string_data = re.sub(pattern, '', txts)# 将符合模式的字符去除
  24. # 文本分词
  25. seg_list_exact = jieba.cut(string_data, cut_all = False)# 精确模式分词
  26. object_list = []
  27. remove_words = [u'的', u',',u'和']# 自定义统计词频中去除词库
  28. for word in seg_list_exact: # 循环读出每个分词
  29. if word not in remove_words: # 如果不在去除词库中
  30. object_list.append(word) # 分词追加到列表
  31. # 词频统计
  32. word_counts = collections.Counter(object_list) # 对分词做词频统计
  33. word_counts_top10 = word_counts.most_common(10) # 获取前10最高频的词
  34. print (word_counts_top10) # 输出检查
  35. # 词频展示
  36. mask = np.array(Image.open("")) # 定义词频背景
  37. wc = wordcloud.WordCloud(
  38. font_path='simhei.ttf', # 设置字体格式,一般电脑都会自带的
  39. mask=mask, # 设置背景图
  40. max_words=100, # 最多显示词数
  41. max_font_size=100 # 字体最大值
  42. )
  43. wc.generate_from_frequencies(word_counts) # 从字典生成词云
  44. image_colors = wordcloud.ImageColorGenerator(mask) # 从背景图建立颜色方案
  45. wc.recolor(color_func=image_colors) # 将词云颜色设置为背景图方案
  46. plt.imshow(wc) # 显示词云
  47. plt.axis('off') # 关闭坐标轴
  48. plt.show() # 显示图像
  49. wc.to_file("cloud.png')#将词云图保存到名为'cloud'的png照片格式

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/天景科技苑/article/detail/878634
推荐阅读
相关标签
  

闽ICP备14008679号