python情感分析库-snownlp_python snownlp

SnowNLP 是一个简易的 Python 库，主要用于处理中文文本数据，提供了多种实用的功能。

源码中提供了一些方法:

class SnowNLP(object):

    def __init__(self, doc):
        self.doc = doc
        self.bm25 = bm25.BM25(doc)

    @property
    def words(self):
        # 功能: 对输入的文本进行分词，返回一个包含所有分词结果的列表。
        pass

    @property
    def sentences(self):
        # 功能: 将文本分割成句子，返回一个包含所有句子的列表。
        pass

    @property
    def han(self):
        pass

    @property
    def pinyin(self):
        # 功能: 返回文本的拼音形式，返回一个列表
        pass

    @property
    def sentiments(self):
        # 功能: 进行情感分析，返回一个介于0到1之间的浮点数，表示文本的情感倾向，接近1表示正面情绪，接近0表示负面情绪。
        pass

    @property
    def tags(self):
        # 功能: 返回文本中每个词语的词性标注，通常以列表形式给出，每个元素是一个包含词语和对应词性的元组。
        pass

    @property
    def tf(self):
        # 功能: 计算词频（Term Frequency），返回一个字典，键是词语，值是该词语在文本中的出现频率。
        pass

    @property
    def idf(self):
        # 功能: 计算逆文档频率（Inverse Document Frequency）
        pass

    def sim(self, doc):
        # 功能: 计算两个文本的相似度，返回一个介于0到1之间的浮点数，值越接近1表示两个文本越相似。
        pass

    def summary(self, limit=5):
        # 功能: 提供文本摘要功能
        pass

    def keywords(self, limit=5, merge=False):
        # 功能: 提取文本中的关键词，返回一个按相关性排序的关键词列表。
        pass
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
'
运行
运行

详细使用说明

一、words方法

功能: 对输入的文本进行分词，返回一个包含所有分词结果的列表。
分词一般会使用jieba, 但是snownlp本身也提供了此类功能
使用方法:

from snownlp import SnowNLP

text = "解决这个问题的关键是先找到关键的问题"
s = SnowNLP(text)
words_list = s.words
print(words_list)
# ['解决', '这个', '问题', '的', '关键', '是', '先', '找', '到', '关键', '的', '问题']
1
2
3
4
5
6
7

源码解释:
底层调用了seg中的seg方法

@property
def words(self):
    return seg.seg(self.doc)
re_zh = re.compile('([\u4E00-\u9FA5]+)')

def seg(sent):
    words = []
    for s in re_zh.split(sent):
        s = s.strip()
        if not s:
            continue
        if re_zh.match(s):
            words += single_seg(s)
        else:
            for word in s.split():
                word = word.strip()
                if word:
                    words.append(word)
    return words

# 其中又调用了segger中的single_seg()方法
def single_seg(sent):
    return list(segger.seg(sent))

# 其中又调用了seg方法
def seg(self, sentence):
    ret = self.segger.tag(sentence)
    tmp = ''
    for i in ret:
        if i[1] == 'e':
            yield tmp+i[0]
            tmp = ''
        elif i[1] == 'b' or i[1] == 's':
            if tmp:
                yield tmp
            tmp = i[0]
        else:
            tmp += i[0]
    if tmp:
        yield tmp
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

以上可以看出, 分词处理其实是根据词性进行划分的

二、sentences方法

功能: 将文本分割成句子，返回一个包含所有句子的列表。

from snownlp import SnowNLP

text = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.sentences)
# ['解决这个问题的关键', '是先找到关键的问题']
1
2
3
4
5
6

三、han方法

功能: 繁体转简体

from snownlp import SnowNLP

s = SnowNLP("這個姑娘真好看")
print(s.han)
# 这个姑娘真好看
1
2
3
4
5

四、pinyin方法

功能: 中文转拼音, 返回一个列表

from snownlp import SnowNLP

text = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.pinyin)
1
2
3
4
5

五、sentiments方法

功能: 进行情感分析，返回一个介于0到1之间的浮点数，表示文本的情感倾向，接近1表示正面情绪，接近0表示负面情绪。

from snownlp import SnowNLP

text = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.sentiments) # 0.4619828689317872

s = SnowNLP("上班好快乐")
print(s.sentiments) # 0.93885208707686

s = SnowNLP("这工作狗都不干")
print(s.sentiments) # 0.2205915558008712
1
2
3
4
5
6
7
8
9
10
11

六、tags方法

功能: 返回文本中每个词语的词性标注，通常以列表形式给出，每个元素是一个包含词语和对应词性的元组。

@property
def tags(self):
    words = self.words
    tags = tag.tag(words)
    return zip(words, tags)
from snownlp import SnowNLP

text = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
for ele in s.tags:
    print(ele)
# ('解决', 'v')
# ('这个', 'r')
# ('问题', 'n')
# ('的', 'u')
# ('关键', 'n')
# ('，', 'w')
# ('是', 'v')
# ('先', 'd')
# ('找', 'v')
# ('到', 'v')
# ('关键', 'a')
# ('的', 'u')
# ('问题', 'n')
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

七、tf方法和idf方法

TF-IDF由两部分组成：

Term Frequency (TF): 词频，指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数（term count）的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语在两个文件中的重要程度是否相同。）

Inverse Document Frequency (IDF): 逆文档频率，是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到。
功能: 计算词频（Term Frequency）和 计算逆文档频率（Inverse Document Frequency）

from snownlp import SnowNLP

text = "解决这个问题的关键，是先找到关键的问题"
s = SnowNLP(text)
print(s.tf)
print(s.idf)
# [{'解': 1}, {'决': 1}, {'这': 1}, {'个': 1}, {'问': 1}, {'题': 1}, {'的': 1}, {'关': 1}, {'键': 1}, {'，': 1}, {'是': 1}, {'先': 1}, {'找': 1}, {'到': 1}, {'关': 1}, {'键': 1}, {'的': 1}, {'问': 1}, {'题': 1}]
# {'解': 2.512305623976115, '决': 2.512305623976115, '这': 2.512305623976115, '个': 2.512305623976115, '问': 1.9459101490553135, '题': 1.9459101490553135, '的': 1.9459101490553135, '关': 1.9459101490553135, '键': 1.9459101490553135, '，': 2.512305623976115, '是': 2.512305623976115, '先': 2.512305623976115, '找': 2.512305623976115, '到': 2.512305623976115}
1
2
3
4
5
6
7
8

八、summary方法

功能: 提供文本摘要功能
支持传入一个参数, 限制输出的数量

from snownlp import SnowNLP

s = SnowNLP("解决这个问题的关键，是先找到关键的问题")
print(s.summary(5))
# ['解决这个问题的关键', '是先找到关键的问题']
1
2
3
4
5

九、keywords方法

功能: 提取文本中的关键词，返回一个按相关性排序的关键词列表。

from snownlp import SnowNLP

s = SnowNLP("解决这个问题的关键，是先找到关键的问题")
print(s.keywords(5))
# ['关键', '先', '找', '解决']
1
2
3
4
5

和summary的区别在于summary断句, 而keywords断词