jieba 分词 用户自定义词典（即不想被分开的词）_jieba分词想要一个字符串不分开

jieba 分词简介：

jieba 对于一长段文字，其分词原理大体可分为三部：
1.首先用正则表达式将中文段落粗略的分成一个个句子。
2.将每个句子构造成有向无环图，之后寻找最佳切分方案。
3.最后对于连续的单字，采用HMM模型将其再次划分。

三种分词模式:

精确模式：试图将句子最精确地切开，适合文本分析；
全模式：把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词；

使用python 分词:

首先导入所需要的库 jieba

import jieba
1

读取所需要分词的文件

file_needCut = 'file.csv' # 此处是所需要被分词的文件
1

读取文件

with open(file,'r',encoding='UTF-8') as f:
    for line in f.readlines():
      print（line）
1
2
3

对读取出来的句子分词

seg_list = jieba.cut(line,cut_all=False,HMM=True) #此处使用精确模式分词
1

如果需要使用用户自定义词典，按照如下格式加在分词之前：

file_userdict = 'userdict.txt' #此处文件名为用户自定义的文件名，内容为不想被分开的词
jieba.load_userdict(file_userdict)
1
2

全部代码为：

import jieba

file = 'file.csv'
file_userdict = 'userdict.txt'
jieba.load_userdict(file_userdict)

with open(file,'r',encoding='UTF-8') as f:
    for line in f.readlines():
        print(line)
        seg_list = jieba.cut(line,cut_all=False,HMM=True)
        print("/".join(seg_list))
1
2
3
4
5
6
7
8
9
10
11