Python - SnowNLP 情感分析与自定义训练_snownlp模型训练过程

目录

一.引言

二.SnowNLP 情感分析

1.安装 SnowNLP

2.测试 SnowNLP

三.SnowNLP 自定义训练

1.数据集准备

2.训练与保存

3.模型替换

4.模型测试

5.SnowNLP 原理

◆ Bayes 公式

◆ 先验概率

◆ 后验概率

◆ 情感模型

四.总结

---

 

一.引言

SnowNLP 是一个基于 Python 的简洁的自然语言处理工具包，它提供了文本情感分析、关键词提取、文本分类等功能。该工具包具有简单易用的接口，可帮助用户快速实现文本处理和情感分析任务。SnowNLP 的设计理念是简洁高效，它采用了一些先进的自然语言处理算法，同时也尽量减少了不必要的复杂性，使得用户可以轻松地应用它来处理文本数据。本文主要包括两部分:

◆ SnowNLP 情感分析

◆ SnowNLP 自定义训练

 

二.SnowNLP 情感分析

1.安装 SnowNLP

pip install snownlp -i https://pypi.tuna.tsinghua.edu.cn/simple

出现 Successfully 即为安装成功，博主这里 Py == 3.8、snownlp == 0.12.3。

 

2.测试 SnowNLP

from snownlp import SnowNLP
 
def sentiment_analysis(text):
    # 使用SnowNLP对中文文本进行情感分析
    s = SnowNLP(text)
    # SnowNLP的sentiments方法返回情感倾向分数，越接近1表明情感越积极，越接近0表明情感越消极
    sentiment_score = s.sentiments
    return sentiment_score

直接调用 SnowNLP 方法获取中文文本情感，这里返回 sentiment_score，以 0.5 为界限，越接近于 1 越积极，反之越消极。

    text = "角色塑造太单调，毫无震撼力！"
 
    score = sentiment_analysis(text)
    print(f"情感分数: {score}")
 
    if score > 0.5:
        print("该语句是积极的。")
    else:
        print("该语句是消极的。")

 

三.SnowNLP 自定义训练

1.数据集准备

自定义训练数据集主要在原生 SnowNLP 无法满足自己场景的情况下，可以自定义积极、消极的文本，按行放置到 txt 文件中，供 sentiment 进行调整。下面以影视评价为例，pos 和 neg 各添加 100 条影评信息。

◆ pos.txt

◆ neg.txt

 

2.训练与保存

from snownlp import sentiment
 
def train_self_model():
    pos = "./pos.txt"
    neg = "./neg.txt"
    sentiment.train(neg, pos)
    sentiment.save("sentiment.marshal")

训练结束后会在输出目录得到一个 .marshal.3 的文件:  

 

3.模型替换

要使用自己生成的 marshal 模型需要到 python site-package 库里把 SnowNLP sentiment 原始的 mershal.3 模型文件替换掉。

◆ 获取 Site-Packages 路径

在当前 python 环境目录下执行下述脚本获取 Site-Packages 文件路径:

def get_site_pkg_path():
    import site
    # Add snownlp/sentiment
    return site.getsitepackages()[0]

执行后获取对应 Site-Packages 路径地址:

cd /Users/XXX/miniforge3/PythonTest/lib/python3.8/site-packages

 

◆ 修改 mershal 模型

cd snownlp/sentiment

备份 sentiment 库文件夹下的 sentiment.marshal.3 文件，将我们 output 的模型文件 cp 到这里。

Tips:

最好备份下原始的模型，要不然将来需要还得再 pip install。 

 

4.模型测试

继续调用第二节情感分析一节的 sentiment_analysis 函数测试。

◆ 完整的训练负样本

使用训练过的负样本会得到非常逼近区间 [0,1] 的分数，正样本大家也可以测试下。

    text = "角色塑造太单调，毫无震撼力！"
    score = sentiment_analysis(text)
 
    -----------------------------
    情感分数: 3.992483776915634e-07
    该语句是消极的。

 

◆ 删减的训练负样本

使用删减过的负样本同样可以得到可靠的情感分析分数。

    text = "毫无震撼力！"
    score = sentiment_analysis(text)
 
    -------------------------------
    情感分数: 0.004951768064722417   
    该语句是消极的。

 

◆ Bad Case 分析

自定义训练模型后原始判定为消极的句子可能判定为积极，我们去掉消极词后可以看到是由于其他词的 Positive  Ratio 太高，从而把 Negative 的词的 Ratio 带高了，从而造成误判。所以如果大家使用自定义模型，需要注意其可能在你的专业领域得到靠谱的情感分析，但是之前的泛化能力受到影响。

    text = "这个产品真的很垃圾！"
    情感分数: 0.9208253155767703    
    该语句是积极的。
 
    -------------------------
 
    text = "这个产品真的很！"
    情感分数: 0.9480748399538199
    该语句是积极的。

 

5.SnowNLP 原理

上面是 sentiment 的 __init__ 初始化代码，可以看到其使用的模型类型为 Bayes 概率统计模型，这个模型我们之前在机器学习部分讲过，其通过计算条件概率进行情感分析，核心思想是通过训练样本的分词结果构建先验概率分布，再基于先验概率分布计算出现某个情况后的后验概率。

◆ Bayes 公式

 

◆ 先验概率

假设男生女生各 50 人，其通过 B/G 代表，则 P(B) = P(G) = 50 / (50  + 50) = 0.5。

其次规定事件 T 为是否穿长裤，其中男生 75% 的概率穿长裤，即 P(T|B) = 0.75，女生 50% 的概率穿长裤，即 P(T|G) = 0.5，这里 P(T|B/G) 即为先验概率，是我们通过概率统计计算而得。

 

◆ 后验概率

由条件概率公式可得，可以理解为穿长裤的男生的数量与男生穿长裤的数量一致：

P(BT) = P(B) * P(T|B) = P(T) * P(B|T)

由全概率公式可得，可以理解为穿长裤的概率等于男生、女生穿长裤的概率之和：

P(T) = P(B) * P(T|B) + P(G) * P(T|G)

所以可以推导出:

P(B|T) = P(B)·P(T|B) / P(T)

这里 P(B) 男生的概率、P(T) 穿长裤的概率、P(T|B) 男生穿长裤的概率都有，计算可得穿长裤的是男生的概率 P(B|T)。

 

◆ 情感模型

而对于上面情感分析的场景，我们 P(Sentiment) 即为积极 P、消极 N 两种选择，我们获取 text 进行分词得到 w1、w2 且可以得到 P(S|Wi) 即当前词的情感，从而最后推导出情感分析的概率计算:

其中 Wi 为 Text W 中文本分词的结果，Si 对应 P、N 两种情感，我们计算 P(Si|W) 即文本对应的情感 S，P(Wi) 为对应词语出现的频次，P(Wi|Si) 为积极或消极场景中该词出现的概率，以此类推即可计算 Score。 

 

四.总结

SnowNLP 采用 Bayes 模型，支持自定义训练，开箱即用也很轻便，有需要情感分析的同学可以使用，当然语言模型 Bert 甚至大模型 LLM 现在也具备该场景功能，有兴趣的同学也可以微调模型获得更专业的情感分析模型。

完整的 Bayes 实战代码可以参考: 朴素贝叶斯-分类及Sklearn库实现 机器学习实战。