基于python中jieba包的中文分词中详细使用_jieba.analyse.set_stop_words

为了教别人jieba库的使用，顺便自己把这个整理一下，记录下来，省的之后使用又来找资料

jieba：中文分词比较好，但是英文分词就用其他的

3种分词模式：

精确模式，将句子精确地切开，不存在冗余，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义，有冗余；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于引擎分词

jieba.lcut(s)  精确模式，返回一个列表类型的分词结果

>>>jieba.lcut("中国是一个伟大的国家")['中国', '是', '一个', '伟大', '的', '国家']

jieba.lcut(s,cut_all=True)全模式，返回一个列表类型的分词结果，存在冗余

>>>jieba.lcut("中国是一个伟大的国家",cut_all=True)['中国', '国是', '一个', '伟大', '的', '国家']

jieba.lcut_for_search(s)搜索引擎模式，返回一个列表类型的分词结果，存在冗余

>>>jieba.lcut_for_search(“中华人民共和国是伟大的")['中华', '华人', '人民', '共和', '共和国', '中华人民共和国', '是', '伟大', '的']

jieba.add_word(w)向分词词典增加新词w>>>jieba.add_word("蟒蛇语言")

jieba.del_word('自定义词')

 

#导入词性标注的包
import jieba.posseg as pseg
test_sent = (
"李小福是创新办主任也是云计算方面的专家; 什么是八一双鹿\n"
"例如我输入一个带“韩玉赏鉴”的标题，在自定义词库中也增加了此词为N类\n"
"「台中」正確應該不會被切開。mac上可分出「石墨烯」；此時又可以分出來凱特琳了。"
)
result = pseg.cut(test_sent)
for w in result:
    print(w.word, "/", w.flag, ", ", end=' ')

 李小福 / nr , 是 / v , 创新办 / i , 主任 / b , 也 / d , 是 / v , 云计算 / x , 方面 / n , 的 / uj , 专家 / n , ; / x , / x , 什么 / r , 是 / v , 八一双鹿 / nz , / x , 例如 / v , 我 / r , 输入 / v , 一个 / m , 带 / v , “ / x , 韩玉赏鉴 / nz , ” / x , 的 / uj , 标题 / n , ， / x , 在 / p , 自定义 / l , 词库 / n , 中 / f , 也 / d , 增加 / v , 了 / ul , 此 / r , 词 / n , 为 / p , N / eng , 类 / q , / x , 「 / x , 台中 / s , 」 / x , 正確 / ad , 應該 / v , 不 / d , 會 / v , 被 / p , 切開 / ad , 。 / x , mac / eng , 上 / f , 可 / v , 分出 / v , 「 / x , 石墨烯 / x , 」 / x , ； / x , 此時 / c , 又 / d , 可以 / c , 分出 / v , 來 / zg , 凱特琳 / nz , 了 / ul , 。 / x ,
 

# test frequency tune 
testlist = [ ('今天天气不错', ('今天', '天气')), ('如果放到post中将出错。', ('中', '将')), ('我们中出了一个叛徒', ('中', '出')), ] 
for sent, seg in testlist: 
    print('/'.join(jieba.cut(sent, HMM=False))) 
    word = ''.join(seg) 
    print('%s Before: %s, After: %s' % (word, jieba.get_FREQ(word),jieba.suggest_freq(seg, True))) 
    print('/'.join(jieba.cut(sent, HMM=False))) 
    print("-"*40)

 今天天气/不错

今天天气 Before: 3, After: 0

今天/天气/不错

----------------------------------------

如果/放到/post/中将/出错/。

中将 Before: 763, After: 494

如果/放到/post/中/将/出错/。

----------------------------------------

我们/中/出/了/一个/叛徒

中出 Before: 3, After: 3

我们/中/出/了/一个/叛徒
---------------------

 

 

文章目录

• 基于python中jieba包的中文分词中详细使用（二）
• 01.前言
• 02.关键词提取
  • 02.01基于TF-IDF算法的关键词提取
  • 02.02词性标注
  • 02.03并行分词
  • 02.04Tokenize：返回词语在原文的起止位置
• 03.延迟加载
• 04.其他词典
• 写在最后

 

基于python中jieba包的中文分词中详细使用（二）

01.前言

在基于python中jieba包的中文分词中详细使用（一）已经介绍了jieba分词的一些基本内容，现在接着去介绍。

02.关键词提取

02.01基于TF-IDF算法的关键词提取

import jieba.analyse

• 1

• jieba.analyse.extract_tags(sentence, topK=20, withWeight=False,
  allowPOS=())
  其中需要说明的是：
  1.sentence 为待提取的文本
  2.topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
  3.withWeight 为是否一并返回关键词权重值，默认值为 False
  4.allowPOS 仅包括指定词性的词，默认值为空，即不筛选
• jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件

代码示例

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Date    : 2018-05-05 22:15:13
# @Author  : JackPI (1129501586@qq.com)
# @Link    : https://blog.csdn.net/meiqi0538
# @Version : $Id$
import jieba
import jieba.analyse
#读取文件,返回一个字符串，使用utf-8编码方式读取，该文档位于此python同以及目录下
content  = open('人民的名义.txt','r',encoding='utf-8').read()
tags = jieba.analyse.extract_tags(content,topK=10) 
print(",".join(tags))

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12

运行结果

Building prefix dict from the default dictionary ...
Dumping model to file cache C:\Users\JACKPI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.280 seconds.
Prefix dict has been built succesfully.
侯亮,李达康,高育良,祁同伟,高小琴,瑞金,陈海,老师,丁义珍,成功
[Finished in 5.9s]

• 1
• 2
• 3
• 4
• 5
• 6

关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径

• 用法： jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
• 自定义语料库示例
  劳动防护 13.900677652 勞動防護 13.900677652 生化学 13.900677652 生化學 13.900677652 奥萨贝尔 13.900677652 奧薩貝爾 13.900677652 考察队员 13.900677652 考察隊員 13.900677652 岗上 11.5027823792 崗上 11.5027823792 倒车档 12.2912397395 倒車檔 12.2912397395 编译 9.21854642485 編譯 9.21854642485 蝶泳 11.1926274509 外委 11.8212361103
• 用法示例

import jieba
import jieba.analyse
#读取文件,返回一个字符串，使用utf-8编码方式读取，该文档位于此python同以及目录下
content  = open('idf.txt.big','r',encoding='utf-8').read()
tags = jieba.analyse.extract_tags(content, topK=10)
print(",".join(tags))

• 1
• 2
• 3
• 4
• 5
• 6

结果

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\JACKPI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.186 seconds.
Prefix dict has been built succesfully.
13.2075304714,13.900677652,12.8020653633,12.5143832909,12.2912397395,12.1089181827,11.9547675029,11.8212361103,11.7034530746,11.598092559
[Finished in 20.9s]

• 1
• 2
• 3
• 4
• 5
• 6

关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径

• 用法： jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径
• 自定义语料库示例：

!
"
#
$
%
&
'
(
)
*
+
,
-
--
.
..
...
......
...................
./
.一
记者
数
年
月
日
时
分
秒
/
//
0
1
2
3
4

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36

• 用法示例

import jieba
import jieba.analyse
#读取文件,返回一个字符串，使用utf-8编码方式读取，该文档位于此python同以及目录下
content  = open(u'人民的名义.txt','r',encoding='utf-8').read()
jieba.analyse.set_stop_words("stopwords.txt")
tags = jieba.analyse.extract_tags(content, topK=10)
print(",".join(tags))

• 1
• 2
• 3
• 4
• 5
• 6
• 7

结果

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\JACKPI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.316 seconds.
Prefix dict has been built succesfully.
侯亮,李达康,高育良,祁同伟,高小琴,瑞金,陈海,老师,丁义珍,成功
[Finished in 5.2s]

• 1
• 2
• 3
• 4
• 5
• 6

关键词一并返回关键词权重值示例

import jieba
import jieba.analyse
#读取文件,返回一个字符串，使用utf-8编码方式读取，该文档位于此python同以及目录下
content  = open(u'人民的名义.txt','r',encoding='utf-8').read()
jieba.analyse.set_stop_words("stopwords.txt")
tags = jieba.analyse.extract_tags(content, topK=10,withWeight=True)
for tag in tags:
	print("tag:%s\t\t weight:%f"%(tag[0],tag[1]))

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

结果

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\JACKPI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.115 seconds.
Prefix dict has been built succesfully.
tag:侯亮		 weight:0.257260
tag:李达康		 weight:0.143901
tag:高育良		 weight:0.108856
tag:祁同伟		 weight:0.098479
tag:高小琴		 weight:0.062259
tag:瑞金		 weight:0.060405
tag:陈海		 weight:0.054036
tag:老师		 weight:0.051980
tag:丁义珍		 weight:0.049729
tag:成功		 weight:0.046647
[Finished in 5.3s]

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15

02.02词性标注

• jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer
  参数可指定内部使用的 jieba.Tokenizer 分词器。 jieba.posseg.dt 为默认词性标注分词器。
• 标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
• 用法示例

>>> import jieba.posseg as pseg
>>> words = pseg.cut("我爱北京天安门")
>>> for word, flag in words:
...    print('%s %s' % (word, flag))
...
我 r
爱 v
北京 ns
天安门 ns

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

词性对照表

02.03并行分词

• 原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升
• 基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows
• 用法
  jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数 jieba.disable_parallel() # 关闭并行分词模式
  官方使用案例

import sys
import time
sys.path.append("../../")
import jieba
 
jieba.enable_parallel()
 
url = sys.argv[1]
content = open(url,"rb").read()
t1 = time.time()
words = "/ ".join(jieba.cut(content))
 
t2 = time.time()
tm_cost = t2-t1
 
log_f = open("1.log","wb")
log_f.write(words.encode('utf-8'))
 
print('speed %s bytes/second' % (len(content)/tm_cost))

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19

• 注意：并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。

02.04Tokenize：返回词语在原文的起止位置

注意，输入参数只接受 unicode
默认模式

import jieba
import jieba.analyse
result = jieba.tokenize(u'永和服装饰品有限公司')
for tk in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))

• 1
• 2
• 3
• 4
• 5

结果

Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\JACKPI~1\AppData\Local\Temp\jieba.cache
Loading model cost 1.054 seconds.
Prefix dict has been built succesfully.
word 永和		 start: 0 		 end:2
word 服装		 start: 2 		 end:4
word 饰品		 start: 4 		 end:6
word 有限公司		 start: 6 		 end:10
[Finished in 3.3s]

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

• 搜索模式

result = jieba.tokenize(u'永和服装饰品有限公司', mode='search')
for tk in result:
    print("word %s\t\t start: %d \t\t end:%d" % (tk[0],tk[1],tk[2]))

• 1
• 2
• 3

结果

word 永和                start: 0                end:2
word 服装                start: 2                end:4
word 饰品                start: 4                end:6
word 有限                start: 6                end:8
word 公司                start: 8                end:10
word 有限公司            start: 6                end:10

• 1
• 2
• 3
• 4
• 5
• 6

#02.05ChineseAnalyzer for Whoosh 搜索引擎

• 引用： from jieba.analyse import ChineseAnalyzer
• 官方案例

# -*- coding: UTF-8 -*-
from __future__ import unicode_literals
import sys,os
sys.path.append("../")
from whoosh.index import create_in,open_dir
from whoosh.fields import *
from whoosh.qparser import QueryParser
 
from jieba.analyse import ChineseAnalyzer
 
analyzer = ChineseAnalyzer()
 
schema = Schema(title=TEXT(stored=True), path=ID(stored=True), content=TEXT(stored=True, analyzer=analyzer))
if not os.path.exists("tmp"):
    os.mkdir("tmp")
 
ix = create_in("tmp", schema) # for create new index
#ix = open_dir("tmp") # for read only
writer = ix.writer()
 
writer.add_document(
    title="document1",
    path="/a",
    content="This is the first document we’ve added!"
)
 
writer.add_document(
    title="document2",
    path="/b",
    content="The second one 你 中文测试中文 is even more interesting! 吃水果"
)
 
writer.add_document(
    title="document3",
    path="/c",
    content="买水果然后来世博园。"
)
 
writer.add_document(
    title="document4",
    path="/c",
    content="工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作"
)
 
writer.add_document(
    title="document4",
    path="/c",
    content="咱俩交换一下吧。"
)
 
writer.commit()
searcher = ix.searcher()
parser = QueryParser("content", schema=ix.schema)
 
for keyword in ("水果世博园","你","first","中文","交换机","交换"):
    print("result of ",keyword)
    q = parser.parse(keyword)
    results = searcher.search(q)
    for hit in results:
        print(hit.highlights("content"))
    print("="*10)
 
for t in analyzer("我的好朋友是李明;我爱北京天安门;IBM和Microsoft; I have a dream. this is intetesting and interested me a lot"):
    print(t.text)

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50
• 51
• 52
• 53
• 54
• 55
• 56
• 57
• 58
• 59
• 60
• 61
• 62
• 63
• 64

03.延迟加载

jieba 采用延迟加载，import jieba 和 jieba.Tokenizer() 不会立即触发词典的加载，一旦有必要才开始加载词典构建前缀字典。如果你想手工初始 jieba，也可以手动初始化。

import jieba
jieba.initialize()  # 手动初始化（可选）

• 1
• 2

官方使用案例

#encoding=utf-8
from __future__ import print_function
import sys
sys.path.append("../")
import jieba
 
def cuttest(test_sent):
    result = jieba.cut(test_sent)
    print("  ".join(result))
 
def testcase():
    cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。")
    cuttest("我不喜欢日本和服。")
    cuttest("雷猴回归人间。")
    cuttest("工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作")
    cuttest("我需要廉租房")
    cuttest("永和服装饰品有限公司")
    cuttest("我爱北京天安门")
    cuttest("abc")
    cuttest("隐马尔可夫")
    cuttest("雷猴是个好网站")
    
if __name__ == "__main__":
    testcase()
    jieba.set_dictionary("foobar.txt")
    print("================================")
    testcase()

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27

04.其他词典

1.占用内存较小的词典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small
2.支持繁体分词更好的词典文件 https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big
下载你所需要的词典，然后覆盖 jieba/dict.txt 即可；或者用 jieba.set_dictionary('data/dict.txt.big')

写在最后

由于jieba分词的内容比较多，功能也是比较强大的，笔者只是针对官方的文档进行了一定的解释。有对自然语言处理的可以关注个人订阅号，这里有关于自然语言处理、机器学习等学习资料。