SnowNLP使用自定义语料进行模型训练_对snownlp库进行自定义语料修改

SnowNLP是一个功能强大的中文文本处理库，它囊括了中文分词、词性标注、情感分析、文本分类、关键字/摘要提取、TF/IDF、文本相似度等诸多功能，像隐马尔科夫模型、朴素贝叶斯、TextRank等算法均在这个库中有对应的应用。如果大家仔细观察过博主的博客，就会发现博主使用了摘要提取这一功能来增强博客的sEO，即通过自然语言处理(NLP)技术，提取每一篇文章中的摘要信息。因为SnowNLP本身使用的语料是电商网站评论，所以，当我们面对不同的使用场景时，它自带的这个模型难免会出现"水土不服"”。因此，如果我们希望得到更接近实际的结果，最好的方案是使用自定义语料进行模型训练。值得庆幸的是，这一切在SnowNLP中实施起来非常简单，并不需要我们去钻研那些高深莫测的算法。至此，就引出了今天这篇博客的主题，即 SnowNLP使用自定义语料进行模型训练。

SnowNLP主要原理是计算出的情感分数表示语义积极的概率，越接近0情感表现越消极，越接近1情感表现越积极。

关于snownlp实战案例，可以参考我之前的文章数据分析案例-对某宝用户评论做情感分析

我们先来看看如果不重新训练模型，直接使用原生的snownlp结果是什么样的
 

from snownlp import SnowNLP
print('"这首歌真难听"的情感得分是：',SnowNLP("这首歌真难听").sentiments)
print('"今天天气真好啊"的情感得分是：',SnowNLP("今天天气真好啊").sentiments)