中文分词，词频统计，词云图制作_以得分排序的词云图

 

from collections import Counter

import jieba

#jieba的安装就不多介绍，网上相应的教程比较多

import matplotlib.pyplot as plt

from wordcloud import WordCloud

#wordcloud安装出现了bug，解决的方案就是另外一篇的blog

Windows环境下Python中wordcloud的使用

  http://blog.csdn.net/qq_35273499/article/details/79078692

##创建停用词list

#此处分词之后去除多余的停用词def Stopwordlist(filepath):

    stopwords = []

    for line in open(filepath,'r').readlines():

        stopwords.append( line.strip())

    #print(stopwords)

    return stopwords

 

 

##对句子进行分词

def Cut_Sentence(rawfile,stopwordpath):

    outstr = []

    stopwords = Stopwordlist(stopwordpath)

    for line in rawfile:

        sentence_seged = jieba.cut(line.strip(),cut_all = False)#line.strip()去除换行符

        for word in sentence_seged:

            if word not in stopwords:

                if word!= '\t':

                    outstr.append(word)

    #print(outstr)

    return outstr

 

 

#词频统计

def Countword(outstrlist):

    data = dict(Counter(outstrlist))

    data1 = sorted(data.items(), key=lambda d:d[1], reverse = True)

    data2 = dict((key ,values)for key,values in data1)

    '''

 data.iteritems() 得到[(键，值)]的列表。

然后用sorted方法，通过key这个参数，指定排序是按照value，

也就是第一个元素d[1的值来排序。reverse = True表示是需要翻转的，

 默认是从小到大，翻转的话，那就是从大到小。'''

    return data2

   

    

#制作词云图

def Wordcloud(text):

    wc = WordCloud(

                background_color = 'white',    # 设置背景颜色

                max_words = 2000,            # 设置最大现实的字数

                font_path = r'H:\cutword\msyhbd.ttf',# 设置字体格式，如不设置显示不了中文

               # mask = trump_coloring,

                width =800,

                height = 600,

                max_font_size = 50,            # 设置字体最大值

                random_state = 30,            # 设置有多少种随机生成状态，即有多少种配色方案

                )

    wc.generate(text)

    wc.to_file('H:\cutword\wordcloud.png')

    #my_wordcloud = WordCloud().generate(str(strlist))

    plt.imshow(wc)

    plt.axis("off")#不添加坐标轴

    plt.show()

 

if __name__ == '__main__':

    stopwordpath ='H:\cutword\stopwords.txt'#停用词路径

    rawfile = open('H:\cutword\dqdg\dqdg.txt','r')#需要进行分词的原文本

    outfile = open("H:\cutword\outwords.txt",'w+')#分词并进行去除停用词后的文本

    countfile = open('H:\cutword\wordcount.txt','w')#将词频统计写入文件中

    outstrlist = Cut_Sentence(rawfile,stopwordpath)

    countword = Countword(outstrlist)

    Wordcloud(str(outstrlist))

    for line in outstrlist:

        outfile.write(line + " ")#将分词结果写入文件

    

    for key in countword.keys():  

            countfile.write(key + '  ' + str(countword[key]) + '\n') #写入txt文档  

    #Wordcloud()

    rawfile.close()

    outfile.close()

    countfile.close()

    

   进行分词的预料是孙皓晖的《大秦帝国》：https://pan.baidu.com/s/1o94kRGY     密码：2q2t   

   停用的词的部分截图    https://pan.baidu.com/s/1dGMeivn  

 最终分词的效果   

进行分词之后，我们还进行了词频的统计，按词频从大到小进行排序并将结果保存在文件中。如下图

 

所需的字体（若无字体，无法识别中文）：https://pan.baidu.com/s/1oAj2wJ4     密码：mq2a

将部分词制作词云图，最终的结果：可以看到，‘秦国’，‘卫鞅，‘庞涓’，‘商鞅’，‘国君’等出现比较高

        可以参考的结巴分词总结博客：https://blog.csdn.net/hhtnan/article/details/76586693