赞
踩
本文主要介绍如何从多个文件夹中读取txt文件,将所有的txt文档合并为txts,然后利用jieba分词,并统计txts中各个词语出现的词频,选取出现最多的十个词语绘制词云图。
- import re # 正则表达式库
- import collections # 词频统计库
- import numpy as np # numpy数据处理库
- import jieba # 结巴分词
- import wordcloud # 词云展示库
- from PIL import Image # 图像处理库
- import matplotlib.pyplot as plt # 图像展示库
- import os
- # 定义文件夹路径
- folder_paths = ["","","","","","","",""] # 替换为你的文件夹路径
-
- # 读取并合并所有txt文件
- txts=[]
- for folder_path in folder_paths:#遍历各个文件夹
- for file_name in os.listdir(folder_path):
- if file_name.endswith('.txt'):#寻找每个文件夹中的txt文件
- file_path = os.path.join(folder_path, file_name)
- with open(file_path, 'r', encoding='utf-8') as f:
- file_content = f.read()#读取文本内容
- txts.append(file_content)#将读取的文本内容加入到txts文件中
- txts = ','.join(txts)
- # 文本预处理
- pattern = re.compile(u'\t|\n|\.|-|:|;|\)|\(|\?|"')# 定义正则表达式匹配模式
- string_data = re.sub(pattern, '', txts)# 将符合模式的字符去除
-
- # 文本分词
- seg_list_exact = jieba.cut(string_data, cut_all = False)# 精确模式分词
- object_list = []
- remove_words = [u'的', u',',u'和']# 自定义统计词频中去除词库
-
- for word in seg_list_exact: # 循环读出每个分词
- if word not in remove_words: # 如果不在去除词库中
- object_list.append(word) # 分词追加到列表
-
- # 词频统计
- word_counts = collections.Counter(object_list) # 对分词做词频统计
- word_counts_top10 = word_counts.most_common(10) # 获取前10最高频的词
- print (word_counts_top10) # 输出检查
-
- # 词频展示
- mask = np.array(Image.open("")) # 定义词频背景
- wc = wordcloud.WordCloud(
- font_path='simhei.ttf', # 设置字体格式,一般电脑都会自带的
- mask=mask, # 设置背景图
- max_words=100, # 最多显示词数
- max_font_size=100 # 字体最大值
- )
-
- wc.generate_from_frequencies(word_counts) # 从字典生成词云
- image_colors = wordcloud.ImageColorGenerator(mask) # 从背景图建立颜色方案
- wc.recolor(color_func=image_colors) # 将词云颜色设置为背景图方案
- plt.imshow(wc) # 显示词云
- plt.axis('off') # 关闭坐标轴
- plt.show() # 显示图像
- wc.to_file("cloud.png')#将词云图保存到名为'cloud'的png照片格式
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。