当前位置:   article > 正文

中文词频统计

统计中文文章词频,去掉一些无用的词语,按词频的高低进行排序,做后输出排序前
  1. 下载一中文长篇小说,并转换成UTF-8编码。
  2. 使用jieba库,进行中文词频统计,输出TOP20的词及出现次数。
  3. 排除一些无意义词、合并同一词。
  4. 对词频统计结果做简单的解读。
import jieba
news=open('haha.txt','r',encoding='utf-8').read()
words=list(jieba.cut(news))
exp={','}
keys =set(words)-exp#键的集合

dic={} 
for i in keys:
    if len(i)>1:
        dic[i]=words.count(i)#单词计数字典
w=list(dic.items())
w.sort(key=lambda x:x[1],reverse=True)#列表排序

for j in range(20):#输出TOP20元组
    print(w[j])

航母自从诞生以来,一直就是海上霸王。世界大国几十年前就早已拥有,唯独中国不会制造,要购买也受封锁。不过,尽管如此,中国没有放弃对航母的探索。从上世纪末,我国先后从国外购进四艘航母舰壳壳体,其中广州造船厂从澳大利亚购买了一艘叫做“墨尔本”号的航母,这艘航母的经历可谓是非常传奇。
航母的“舰载机弹射和回收设备(ALRE)”主管加布里埃尔·昆林表示,二号弹射器完成这个里程碑事件,对于每天在航母上进行弹射器工作的船员而言,是非常令人兴奋的,因为他们明白,每次弹射都离目标更进一步。

解读:词频的统计后进行排序输出。

转载于:https://www.cnblogs.com/kebibrany/p/7610349.html

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/你好赵伟/article/detail/109655
推荐阅读
相关标签
  

闽ICP备14008679号