常见的三种分词工具

常见的三种分词工具

这节课主要讲了三种常见的分词工具：

1. jieba分词
2. ltp分词
3. ir分词

一、 分词的概念：
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
二、 中文分词工具

1. jieba分词：比较常用，用法比较简单，主要有三种分词模式

1. python安装jieba：pip install jieba/在settings里直接搜索jieba安装即可
2. jieba的使用：import jieba
3. jieba分词三种模式：
   a) 全模式：把句子中所有的可以成词的词语都扫描出来
   代码实现：sentence_=” 一切都像刚睡醒的样子，欣欣然张开了眼。山朗润起来了，水涨起来了，太阳的脸红起来了。”
   cut_all = jieba.cut(sentence_,cut_all=True)
   b) 精确模式：试图将句子最精确地切开（jieba默认模式）
   代码实现：cut_all = jieba.cut(sentence_)
   c) 搜索模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
   代码实现：cut_search = jieba.cut_for_search(sentence_)
   测试结果：
   

4）jieba分词的词性标注：词性标注就是对已经分词的文本进行词性的标注，在jieba的词性标注中，标注的文本默认以精确模式切分。
词性标注需要引用文件，语句：import jieba.posseg as pos
代码实行以及运行结果：