前一章介绍了jieba分词之前关于前缀词典的构建,本章介绍jieba的主体:jieba.cut。
jieba分词有三种模式:全模式、精确模式、搜索引擎模式。全模式和精确模式通过jieba.cut实现,搜索引擎模式对应cut_for_search,且三者均可以通过参数HMM决定是否使用新词识别功能。官方例子:
- # encoding=utf-8
- import jieba
-
- seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
- print("Full Mode: " + "/ ".join(seg_list)) # 全模式
- # 【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
-
- seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
- print("Default Mode: " + "/ ".join(seg_list)) # 精确模式
- # 【精确模式】: 我/ 来到/ 北京/ 清华大学
-
- seg_list = jieba.cut("他来到了网易杭研大厦") # 默认是精确模式
- print(", ".join(seg_list))
- # 【新词识别】:他, 来到, 了, 网易, 杭研, 大厦 (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)
-
- seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造") # 搜索引擎模式
- print(", ".join(seg_list))
- # 【搜索引擎模式】: 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
jieba.cut
- def cut(self, sentence, cut_all=False, HMM=True):
- '''
- jieba分词主函数,返回generator
- 参数:
- - sentence: 待切分文本.
- - cut_a