不正经

这个屌丝很懒，什么也没留下！

热门标签

java语言文本挖掘分词_文本挖掘之中文分词入门

作者：不正经 | 2024-04-08 01:32:56

踩

java 对长文本做拆词并向量化

中文分词

分词，就是将0维的非格式化文本转为格式化、向量化数据

中文分词(Chinese Word Segmentation) 是将一个汉字序列切分成一个个单独的词。

英文文档中，单词之间是以空格作为自然分界符的，而中文词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一上，中文分词相比英文要复杂困难的多

'0维的非格式化文本转为格式化'

分词

['0维', '的', '非格式化', '文本', '转为', '格式化']

安装jieba中文分词库

pip install jieba

或者

conda install -c conda-forge jieba

import numpy as np

import pandas as pd

import jieba

import jieba.analyse

中文分词基础步骤

1：载入数据

# a = '我来到了网易杭研大厦，我是网易人！'

# a

# 外部载入

#text.txt文件内容：我来到了网易杭研大厦，我是网易人！

with open('data/text.txt', 'r', encoding='GBK') as f:

a = f.read()

'我来到了网易杭研大厦，我是网易人！'

2: 分词

b = jieba.cut(a)

# 返回生成器

# 查看生成器内容

list(b)

Building prefix dict from the default dictionary ...

Loading model from cache D:\Personal\Temp\jieba.cache

Loading model cost 1.313 seconds.

Prefix dict has been built succesfully.

['我', '来到', '了', '网易', '杭研', '大厦', '，', '我', '是', '网易', '人', '！']

for i in jieba.cut(a):

print(i)

我

来到

了

网易

杭研

大厦

，

我

是

网易

人

！

# 分词后直接生成列表

b = jieba.lcut(a)

['我', '来到', '了', '网易', '杭研', '大厦', '，', '我', '是', '网易', '人', '！']

3: 分词后的数据转回文本

# 分好的词转回字符串

c = ' '.join(b)

'我来到了网易杭研大厦，我是网易人！'

4：保存分词后的文本为文本文件

with open('temp/text_cut.txt', 'w', encoding="utf-8")as f: # 提前建好temp文件夹

f.write(c)

下面操作是为了增加分词的准确率

添加自定义词典

一个词错误分为两个词，解决此问题

删除系统词

两个词错误分为一个词，jieba.del_word('中出')

去停用词

将不想出现在分词结果内的词删除

添加自定义词典

当句子中的某个词没有被识别分出时，可以指定自己自定义的词典，以便包含 jieba 词库里没有的词

词典文件的内容可以根据项目不断增加。查看初步分词，将分词不正确的词加入自定义词典然后重新再分，直到正确率达标

虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率

jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径

词典格式：

词中间不能有标点符号

一个词占一行；

每一行分三部分：词语、词频(可省略)、词性(可省略)，用空格隔开，顺序不可颠倒。

file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码

词频省略时使用自动计算也能保证分出该词的词频

a = '李小福是创新办主任也是云计算专家'

'李小福是创新办主任也是云计算专家'

jieba.lcut(a)

['李小福', '是', '创新', '办', '主任', '也', '是', '云', '计算', '专家']

应用自定义词典

注意：自定义词典文本文件，如果使用Windows记事本编辑，读入Python列表时会带有文件头BOM，应该用高级编辑器去除

# 方法1：直接定义词典列表

# b = ['云计算', '创新办']

# 方法2：外部载入

# with open('data/custom.txt', 'r', encoding='utf-8') as f:

# b = f.read()

# b = b.split('\n')

# b

# jieba.load_userdict(b) # 应用自定义词典

##########################

# 方法2升级

jieba.load_userdict('data/custom.txt') # 输入路径直接应用自定义词典

jieba.lcut(a)

['李小福', '是', '创新办', '主任', '也', '是', '云计算', '专家']

动态增加或删除词典的词

a2 = '我们中出了一个叛徒'

'我们中出了一个叛徒'

jieba.lcut(a2)

['我们', '中出', '了', '一个', '叛徒']

# 两个词错误的分为1个词，删除词实现正确分词

jieba.del_word('中出') # 删除jieba自带的词(不同于去停用词，不是删除词，而是重新分词)

jieba.lcut(a2)

['我们', '中', '出', '了', '一个', '叛徒']

jieba.add_word('中出') # 增加jieba的词，和自定义词典相比它可以动态增加词

jieba.lcut(a2)

['我们', '中出', '了', '一个', '叛徒']

# 调节词的词频，使其能(或不能)被分出

# tune=True:执行词频调整，默认False不执行

jieba.suggest_freq(('中','出'), tune=True)

jieba.lcut(a2)

['我们', '中', '出', '了', '一个', '叛徒']

# 调整的词以字符串形式输入

jieba.suggest_freq('一个叛徒', tune=True)

jieba.lcut(a2)

['我们', '中', '出', '了', '一个叛徒']

# 恢复jieba到原始状态

jieba.add_word('中出')

jieba.suggest_freq(('一个', '叛徒'), tune=True)

jieba.lcut(a2)

['我们', '中出', '了', '一个', '叛徒']

去停用词

与上面相反，当一个字符串不是词，jieba误将其分为词，或者我们不想将某些不重要的词分出来(想删掉某些分出的词)可以自定义停用词词典

停用词就是要从分词结果删掉的垃圾无用词

词典中的词不会出现在分词结果中

停用词词典的内容可以根据项目不断增加

课程内附一个通用停用词词典，涵盖大部分无用字词，可以根据项目需求不断添加累计补充

a = '哎，鹅，听说你超级喜欢小游戏的！你是吗？'

'哎，鹅，听说你超级喜欢小游戏的！你是吗？'

b = jieba.lcut(a)

['哎',

'，',

'鹅',

'，',

'听说',

'你',

'超级',

'喜欢',

'小游戏',

'的',

'！',

'你',

'是',

'吗',

'？']

去停用词功能jieba不带，需自行实现。下面是实现

先载入停用词

# 方式1：手工构造停用词列表

# stopword = ['哎','的','是','你','吗','！','，', '？']

# 方式2：载入停用词文件

with open('temp/stopword.txt', 'r', encoding='GBK') as f:

# print(f.read())

s = f.read()

stopword = s.split('\n')

stopword

['哎', '的', '是', '你', '吗', '！', ',', '，', '？', '\\n', '\\u3000']

# 方式2提升，若停用词表的特殊词载入时被自动转义，可以判断并恢复

stopword = []

with open('temp/stopword.txt', 'r', encoding='GBK') as f:

for line in f.readlines():

l = line.strip()

if l == '\\n':

l = '\n'

if l == '\\u3000':

l = '\u3000'

stopword.append(l)

stopword

['哎', '的', '是', '你', '吗', '！', ',', '，', '？', '\n', '\u3000']

去停用词，分2步

# 去停用词,第一步，求差集

x = np.array(b) # 将分好的词列表转为数组

y = np.array(stopword) # 将停用词转为数组

# 目的：将分词数组内停用词数组有的值删除

np.in1d(x, y) # np.inid(x, y) x的元素是否包含于y

z = x[~np.in1d(x, y)]

# 非运算，在x内且不在y内的词

array(['鹅', '听说', '超级', '喜欢', '小游戏'], dtype='

# 第二步：去掉1个字以下的词

# k = []

# for i in z:

# # print(len(i))

# if len(i) > 1:

# k.append(i)

# k

# 使用列表生成式实现

k = [i for i in z if len(i) > 1]

['听说', '超级', '喜欢', '小游戏']

stopword.txt的内容

熟悉

熟练

优先

职位

精神

系统

描述

需求

开发

\u3000

(

)

...

......

...................

.一

.数

.日

://

;

Lex

[

]

exp

sub

sup

}

~~~~

×××

φ．

—

——

———

‘

’

’‘

“

”

”，

…

……

…………………………………………………③

′∈

′｜

℃

Ⅲ

↑

→

∈［

∪φ∈

≈

①

②

②ｃ

③

③］

④

⑤

⑥

⑦

⑧

⑨

⑩

──

■

▲

、

。

〈

〉

《

》

》)，

」

『

』

【

】

〔

〕

〕〔

㈧

一

一.

一一

一下

一个

一些

一何

一切

一则

一则通过

一天

一定

一方面

一旦

一时

一来

一样

一次

一片

一番

一直

一致

一般

一起

一转眼

一边

一面

七

万一

三

三天两头

三番两次

三番五次

上

上下

上升

上去

上来

上述

上面

下

下列

下去

下来

下面

不

不一

不下

不久

不了

不亦乐乎

不仅

不仅...而且

不仅仅

不仅仅是

不会

不但

不但...而且

不光

不免

不再

不力

不单

不变

不只

不可

不可开交

不可抗拒

不同

不外

不外乎

不够

不大

不如

不妨

不定

不对

不少

不尽

不尽然

不巧

不已

不常

不得

不得不

不得了

不得已

不必

不怎么

不怕

不惟

不成

不拘

不择手段

不敢

不料

不断

不日

不时

不是

不曾

不止

不止一次

不比

不消

不满

不然

不然的话

不特

不独

不由得

不知不觉

不管

不管怎样

不经意

不胜

不能

不能不

不至于

不若

不要

不论

不起

不足

不过

不迭

不问

不限

与

与其

与其说

与否

与此同时

专门

且

且不说

且说

两者

严格

严重

个

个人

个别

中小

中间

丰富

串行

临

临到

为

为主

为了

为什么

为什麽

为何

为止

为此

为着

主张

主要

举凡

举行

乃

乃至

乃至于

么

之

之一

之前

之后

之後

之所以

之类

乌乎

乎

乒

乘

乘势

乘机

乘胜

乘虚

乘隙

九

也

也好

也就是说

也是

也罢

了

了解

争取

二

二来

二话不说

二话没说

于

于是

于是乎

云云

云尔

互

互相

五

些

交口

亦

产生

亲口

亲手

亲眼

亲自

亲身

人

人人

人们

人家

人民

什么

什么样

什麽

仅

仅仅

今

今后

今天

今年

今後

介于

仍

仍旧

仍然

从

从不

从严

从中

从事

从今以后

从优

从古到今

从古至今

从头

从宽

从小

从新

从无到有

从早到晚

从未

从来

从此

从此以后

从而

从轻

从速

从重

他

他人

他们

他是

他的

代替

以

以上

以下

以为

以便

以免

以前

以及

以后

以外

以後

以故

以期

以来

以至

以至于

以致

们

任

任何

任凭

任务

企图

伙同

会

伟大

传

传说

传闻

似乎

似的

但

但凡

但愿

但是

何

何乐而不为

何以

何况

何处

何妨

何尝

何必

何时

何止

何苦

何须

余外

作为

你

你们

你是

你的

使

使得

使用

例如

依

依据

依照

依靠

便

便于

促进

保持

保管

保险

俺

俺们

倍加

倍感

倒不如

倒不如说

倒是

倘

倘使

倘或

倘然

倘若

借

借以

借此

假使

假如

假若

偏偏

做到

偶尔

偶而

傥然

像

儿

允许

元／吨

充其极

充其量

充分

先不先

先后

先後

先生

光

光是

全体

全力

全年

全然

全身心

全部

全都

全面

八

八成

公然

六

兮

共

共同

共总

关于

其

其一

其中

其二

其他

其余

其后

其它

其实

其次

具体

具体地说

具体来说

具体说来

具有

兼之

内

再

再其次

再则

再有

再次

再者

再者说

再说

冒

冲

决不

决定

决非

况且

准备

凑巧

凝神

几

几乎

几度

几时

几番

几经

凡

凡是

凭

凭借

出

出于

出去

出来

出现

分别

分头

分期

分期分批

切

切不可

切切

切勿

切莫

则

则甚

刚

刚好

刚巧

刚才

初

别

别人

别处

别是

别的

别管

别说

到

到了儿

到处

到头

到头来

到底

到目前为止

前后

前此

前者

前进

前面

加上

加之

加以

加入

加强

动不动

动辄

勃然

匆匆

十分

千

千万

千万千万

半

单

单单

单纯

即

即令

即使

即便

即刻

即如

即将

即或

即是说

即若

却

却不

历

原来

去

又

又及

及

及其

及时

及至

双方

反之

反之亦然

反之则

反倒

反倒是

反应

反手

反映

反而

反过来

反过来说

取得

取道

受到

变成

古来

另

另一个

另一方面

另外

另悉

另方面

另行

只

只当

只怕

只是

只有

只消

只要

只限

叫

叫做

召开

叮咚

叮当

可

可以

可好

可是

可能

可见

各

各个

各人

各位

各地

各式

各种

各级

各自

合理

同

同一

同时

同样

后

后来

后者

后面

向

向使

向着

吓

吗

否则

吧

吧哒

吱

呀

呃

呆呆地

呐

呕

呗

呜

呜呼

呢

周围

呵

呵呵

呸

呼哧

呼啦

咋

和

咚

咦

咧

咱

咱们

咳

哇

哈

哈哈

哉

哎

哎呀

哎哟

哗

哗啦

哟

哦

哩

哪

哪个

哪些

哪儿

哪天

哪年

哪怕

哪样

哪边

哪里

哼

哼唷

唉

唯有

啊

啊呀

啊哈

啊哟

啐

啥

啦

啪达

啷当

喀

喂

喏

喔唷

喽

嗡

嗡嗡

嗬

嗯

嗳

嘎

嘎嘎

嘎登

嘘

嘛

嘻

嘿

嘿嘿

四

因

因为

因了

因此

因着

因而

固

固然

在

在下

在于

地

均

坚决

坚持

基于

基本

基本上

处在

处处

处理

复杂

多

多么

多亏

多多

多多少少

多多益善

多少

多年前

多年来

多数

多次

够瞧的

大

大不了

大举

大事

大体

大体上

大凡

大力

大多

大多数

大大

大家

大张旗鼓

大批

大抵

大概

大略

大约

大致

大都

大量

大面儿上

失去

奇

奈

奋勇

她

她们

她是

她的

好

好在

好的

好象

如

如上

如上所述

如下

如今

如何

如其

如前所述

如同

如常

如是

如期

如果

如次

如此

如此等等

如若

始而

姑且

存在

存心

孰料

孰知

宁

宁可

宁愿

宁肯

它

它们

它们的

它是

它的

安全

完全

完成

定

实现

实际

宣布

容易

密切

对

对于

对应

对待

对方

对比

将

将才

将要

将近

小

少数

尔

尔后

尔尔

尔等

尚且

尤其

就

就地

就是

就是了

就是说

就此

就算

就要

尽

尽可能

尽如人意

尽心尽力

尽心竭力

尽快

尽早

尽然

尽管

尽管如此

尽量

局外

居然

届时

属于

屡

屡屡

屡次

屡次三番

岂

岂但

岂止

岂非

川流不息

左右

巨大

巩固

差一点

差不多

己

已

已矣

已经

巴

巴巴

带

帮助

常

常常

常言说

常言说得好

常言道

平素

年复一年

并

并不

并不是

并且

并排

并无

并没

并没有

并肩

并非

广大

广泛

应当

应用

应该

庶乎

庶几

开外

开始

开展

引起

弗

弹指之间

强烈

强调

归

归根到底

归根结底

归齐

当

当下

当中

当儿

当前

当即

当口儿

当地

当场

当头

当庭

当时

当然

当真

当着

形成

彻夜

彻底

彼

彼时

彼此

往

往往

待

待到

很

很多

很少

後来

後面

得

得了

得出

得到

得天独厚

得起

心里

必

必定

必将

必然

必要

必须

快

快要

忽地

忽然

怎

怎么

怎么办

怎么样

怎奈

怎样

怎麽

怕

急匆匆

怪

怪不得

总之

总是

总的来看

总的来说

总的说来

总结

总而言之

恍然

恐怕

恰似

恰好

恰如

恰巧

恰恰

恰恰相反

恰逢

您

您们

您是

惟其

惯常

意思

愤然

愿意

慢说

成为

成年

成年累月

成心

我

我们

我是

我的

或

或则

或多或少

或是

或曰

或者

或许

战斗

截然

截至

所

所以

所在

所幸

所有

所谓

才

才能

扑通

打

打从

打开天窗说亮话

扩大

把

抑或

抽冷子

拦腰

拿

按

按时

按期

按照

按理

按说

挨个

挨家挨户

挨次

挨着

挨门挨户

挨门逐户

换句话说

换言之

据

据实

据悉

据我所知

据此

据称

据说

掌握

接下来

接着

接著

接连不断

放量

故

故意

故此

故而

敞开儿

敢

敢于

敢情

数/

整个

断然

方

方便

方才

方能

方面

旁人

无

无宁

无法

无论

既

既...又

既往

既是

既然

日复一日

日渐

日益

日臻

日见

时候

昂然

明显

明确

是

是不是

是以

是否

是的

显然

显著

普通

普遍

暗中

暗地里

暗自

更

更为

更加

更进一步

曾

曾经

替

替代

最

最后

最大

最好

最後

java语言文本挖掘 分词_文本挖掘之中文分词入门

java语言文本挖掘分词_文本挖掘之中文分词入门