snownlp 原理_初学者|今天掌握SnowNLP好不好

本文简绍了SnowNLP的使用方法，这是一个处理中文文本内容的python类库，其主要功能包括分词、词性标注、情感分析、汉字转拼音、繁体转简体、关键词提取以及文本摘要等等。

简介

---

SnowNLP是一个可以方便的处理中文文本内容的python类库，是受到了TextBlob的启发而写的，和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。

SnowNLP主要功能包括分词、词性标注、情感分析、汉字转拼音、繁体转简体、关键词提取以及文本摘要等等。

Github地址:https://github.com/isnowfy/snownlp

实战

---

1.安装

# 安装：pip install snownlpfrom snownlp import SnowNLPsentence = '我爱自然语言处理技术！'s = SnowNLP(sentence)

2.分词

s_token = s.wordsprint(s_token)['我', '爱', '自然', '语言', '处理', '技术', '！']

3.词性标注

s_tags = s.tagsfor token_tag in s_tags:print(token_tag)('我', 'r')('爱', 'v')('自然', 'n')('语言', 'n')('处理', 'vn')('技术', 'n')('！', 'w')

4.情感分析(positive的概率)

s_senti = s.sentimentsprint(s_senti)0.902242143497134

5.中文拼音

s_pinyin = s.pinyinfor i in range(len(sentence)):print(sentence[i], s_pinyin[i])我 wo爱 ai自 Zi然 ran语 yu言 yan处 chu理 li技 ji术 shu！ ！

6.繁体转简体

sentence_fan = "我愛自然語言處理技術！"s_jianti = SnowNLP(sentence_fan)print(s_jianti.han)我爱自然语言处理技术！

7.分割成句子(Tokenization)

text = u'''自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。'''t = SnowNLP(text)for sen in t.sentences:   print(sen + "。")自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此。这一领域的研究将涉及自然语言。即人们日常使用的语言。所以它与语言学的研究有着密切的联系。但又有重要的区别。自然语言处理并不是一般地研究自然语言。而在于研制能有效地实现自然语言通信的计算机系统。特别是其中的软件系统。因而它是计算机科学的一部分。

8.关键词抽取

key_num = 3t_key = t.keywords(key_num)print(t_key)['语言', '自然', '计算机']

9.摘要抽取

key_sen = 3t_keysen = t.summary(key_sen)print(t_keysen)['因而它是计算机科学的一部分', '自然语言处理是计算机科学领域与人工智能领域中的一个重要方向', '自然语言处理是一门融语言学、计算机科学、数学于一体的科学']

10.计算tf和idf

s = SnowNLP([[u'这篇', u'文章'],            [u'那篇', u'论文'],            [u'这个']])print(s.tf)print(s.idf)[{'文章': 1, '这篇': 1}, {'论文': 1, '那篇': 1}, {'这个': 1}]{'文章': 0.5108256237659907, '论文': 0.5108256237659907, '这篇': 0.5108256237659907, '这个': 0.5108256237659907, '那篇': 0.5108256237659907}

11.计算相似度(BM25)

artilc1 = ['文章']print(s.sim(artilc1))[0.4686473612532025, 0, 0]

12.支持训练

# 提供训练的包括分词，词性标注，情感分析。语料在snownlp/seg目录下# 训练好的文件就存储为seg.marshal了，然后修改snownlp/seg/init.py里的data_path指向刚训练好的文件即可from snownlp import seg#seg.train('data.txt')#seg.save('seg.marshal')# from snownlp import tag# tag.train('199801.txt')# tag.save('tag.marshal')# from snownlp import sentiment# sentiment.train('neg.txt', 'pos.txt')# sentiment.save('sentiment.marshal')

代码已上传：

https://github.com/yuquanle/StudyForNLP/blob/master/NLPtools/SnowNlpDemo.ipynb

@AI小白入门

版权声明

本文版权归《AI小白入门》，转载请自行联系。

历史文章推荐：

加州伯克利大学计算机系是如何培养计算机人才的？

CVPR2019 | 最新高效卷积方式HetConv

合集下载 | 2018年图灵奖得主“深度学习三巨头”主要贡献和代表性论文

火爆GitHub的《机器学习100天》，有人把它翻译成了中文版！

如何学会看arxiv.org才能不错过自己研究领域的最新论文？

机器学习中的最优化算法总结

深度学习500问！一份火爆GitHub的面试手册

深度学习最常见的 12 个卷积模型汇总，请务必掌握！

CVPR2019 | 专门为卷积神经网络设计的训练方法：RePr

深度神经网络模型训练中的最新tricks总结【原理与代码汇总】

基于深度学习的艺术风格化研究【附PDF】

最新国内大学毕业论文LaTex模板集合(持续更新中)

你正在看吗？?