snownlp文本分词、情感分析、文本相似度与摘要生成_snownlp\\normal\\stopwords.txt

使用的库是snownlp库，github项目地址：https://github.com/isnowfy/snownlp

安装

pip安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ snownlp

使用方法

除了官方的使用案例，其他常用的操作都在下面有所总结

from snownlp import SnowNLP

s = SnowNLP(
    '自然语言处理（英语：Natural Language Processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言处理包括多方面和步骤，基本有认知、理解、生成等部分。')
print(s.words)  # 分词：['自然', '语言', '处理', '（', '英语'...
print(list(s.tags))  # 词性标注： ('自然', 'n'), ('语言', 'n'), ('处理', 'v')...
print(s.sentiments)  # 情感分析： 0.9999997920922455 大于0.4为积极，否则为消极
print(s.pinyin)  # 拼音：['Zi', 'ran', 'yu', 'yan', 'chu'...
print(s.keywords(3))  # 关键词：['语言', '自然', '领域']
print(s.summary(3))  # 摘要/文本概括：'自然语言处理包括多方面和步骤', '此领域探讨如何处理及运用自然语言', '自然语言处理（英语：Natural Language Processing']
print(s.sim([u'文章']))  # 词的相似度[0,0,0...

s2 = SnowNLP([  # 若要计算TF IDF值，注意传入数据格式为 list to list 格式
    s.words
])
print(s2.tf)  # TF值： [{'自然': 3, '语言': 4, '处理': 3...
print(s2.idf)
print(SnowNLP('自然語言處理').han)  # 繁体转简体
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

注：停用词表位置：/snownlp/snownlp/normal/stopwords.txt