数据清洗【Python文本数据处理】_python 文本清洗

jieba

三种分词函数

1. 精确模式
2. 全模式
3. 搜索引擎模式

import jieba
 
words = "多学一分钟,老婆会不同"
 
 
print(jieba.lcut(words))    #默认-精确模式
print(jieba.lcut(words,cut_all=True))   #全模式
print(jieba.lcut_for_search(words))     #搜索引擎模式

运行结果： 

['多学', '一分钟', ',', '老婆', '会', '不同']
['多', '学', '一分', '一分钟', '分钟', ',', '老婆', '会', '不同']
['多学', '一分', '分钟', '一分钟', ',', '老婆', '会', '不同']

词性标注

import jieba
import jieba.posseg as pseg
 
res = pseg.cut("山西的教育很差劲")
for word,flag in res:
    print(word,":",flag)

运行结果：

山西 : ns
的 : uj
教育 : vn
很 : zg
差劲 : n

添加词库

import jieba
 
words = "鸡你太美,篮球太危险"
 
 
print(jieba.lcut(words))    #默认-精确模式
print(jieba.lcut(words,cut_all=True))   #全模式
print(jieba.lcut_for_search(words))     #搜索引擎模式
 
jieba.add_word('鸡你太美')
print("=======添加新词到词库=======")
 
print(jieba.lcut(words))    #默认-精确模式
print(jieba.lcut(words,cut_all=True))   #全模式
print(jieba.lcut_for_search(words))     #搜索引擎模式

 运行结果：

['鸡', '你', '太美', ',', '篮球', '太', '危险']
['鸡', '你', '太美', ',', '篮球', '太', '危险']
['鸡', '你', '太美', ',', '篮球', '太', '危险']
=======添加新词到词库=======
['鸡你太美', ',', '篮球', '太', '危险']
['鸡你太美', '太美', ',', '篮球', '太', '危险']
['太美', '鸡你太美', ',', '篮球', '太', '危险']

统计词频

import jieba
from collections import Counter
 
# 读取文本文件内容
content = open("D:\Desktop\形式主义.txt", encoding='utf-8').read()
 
# 进行分词 搜索引擎模式
words = jieba.lcut_for_search(content)
 
# 统计词频
word_counts = Counter(words)
 
# 输出词频结果
print("词语\t\t\t频率")
for word, count in word_counts.most_common(20):
    if len(word) > 1:
        print("{}\t\t\t{}".format(word, count))

运行结果： 

词语			频率
工作			31
就业			27
招生			24
强化			7
做好			6
推动			5
提升			5
不断			4
责任			4
学校			4
水平			4
发展			4
高质			4
质量			4