当前位置:   article > 正文

jieba源码解析(二):jieba.cut

jieba cut_all

前一章介绍了jieba分词之前关于前缀词典的构建,本章介绍jieba的主体:jieba.cut
jieba分词有三种模式:全模式、精确模式、搜索引擎模式。全模式和精确模式通过jieba.cut实现,搜索引擎模式对应cut_for_search,且三者均可以通过参数HMM决定是否使用新词识别功能。官方例子:

  1. # encoding=utf-8
  2. import jieba
  3. seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
  4. print("Full Mode: " + "/ ".join(seg_list)) # 全模式
  5. # 【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
  6. seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
  7. print("Default Mode: " + "/ ".join(seg_list)) # 精确模式
  8. # 【精确模式】: 我/ 来到/ 北京/ 清华大学
  9. seg_list = jieba.cut("他来到了网易杭研大厦") # 默认是精确模式
  10. print(", ".join(seg_list))
  11. # 【新词识别】:他, 来到, 了, 网易, 杭研, 大厦 (此处,“杭研”并没有在词典中,但是也被Viterbi算法识别出来了)
  12. seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造") # 搜索引擎模式
  13. print(", ".join(seg_list))
  14. # 【搜索引擎模式】: 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造

jieba.cut

  1. def cut(self, sentence, cut_all=False, HMM=True):
  2. '''
  3. jieba分词主函数,返回generator
  4. 参数:
  5. - sentence: 待切分文本.
  6. - cut_a
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/知新_RL/article/detail/348400?site
推荐阅读
相关标签
  

闽ICP备14008679号