当前位置:   article > 正文

Python - SnowNLP 情感分析与自定义训练_snownlp模型训练过程

snownlp模型训练过程

296a0faa3c3445a28ef011ca274753d1.jpeg

目录

一.引言

二.SnowNLP 情感分析

1.安装 SnowNLP

2.测试 SnowNLP

三.SnowNLP 自定义训练

1.数据集准备

2.训练与保存

3.模型替换

4.模型测试

5.SnowNLP 原理

◆ Bayes 公式

◆ 先验概率

◆ 后验概率

◆ 情感模型

四.总结


 

一.引言

SnowNLP 是一个基于 Python 的简洁的自然语言处理工具包,它提供了文本情感分析、关键词提取、文本分类等功能。该工具包具有简单易用的接口,可帮助用户快速实现文本处理和情感分析任务。SnowNLP 的设计理念是简洁高效,它采用了一些先进的自然语言处理算法,同时也尽量减少了不必要的复杂性,使得用户可以轻松地应用它来处理文本数据。本文主要包括两部分:

◆ SnowNLP 情感分析

◆ SnowNLP 自定义训练

 

二.SnowNLP 情感分析

1.安装 SnowNLP

pip install snownlp -i https://pypi.tuna.tsinghua.edu.cn/simple

439ae58f93ab4ef89887a46bd640052f.png

出现 Successfully 即为安装成功,博主这里 Py == 3.8、snownlp == 0.12.3。

 

2.测试 SnowNLP

  1. from snownlp import SnowNLP
  2. def sentiment_analysis(text):
  3. # 使用SnowNLP对中文文本进行情感分析
  4. s = SnowNLP(text)
  5. # SnowNLP的sentiments方法返回情感倾向分数,越接近1表明情感越积极,越接近0表明情感越消极
  6. sentiment_score = s.sentiments
  7. return sentiment_score

直接调用 SnowNLP 方法获取中文文本情感,这里返回 sentiment_score,以 0.5 为界限,越接近于 1 越积极,反之越消极。

  1. text = "角色塑造太单调,毫无震撼力!"
  2. score = sentiment_analysis(text)
  3. print(f"情感分数: {score}")
  4. if score > 0.5:
  5. print("该语句是积极的。")
  6. else:
  7. print("该语句是消极的。")

 

三.SnowNLP 自定义训练

1.数据集准备

自定义训练数据集主要在原生 SnowNLP 无法满足自己场景的情况下,可以自定义积极、消极的文本,按行放置到 txt 文件中,供 sentiment 进行调整。下面以影视评价为例,pos 和 neg 各添加 100 条影评信息。

◆ pos.txt

482da70eb8374f27a2dbd65709c4320b.png

◆ neg.txt

b75556900160462c89978201df90ac1f.png

 

2.训练与保存

  1. from snownlp import sentiment
  2. def train_self_model():
  3. pos = "./pos.txt"
  4. neg = "./neg.txt"
  5. sentiment.train(neg, pos)
  6. sentiment.save("sentiment.marshal")

训练结束后会在输出目录得到一个 .marshal.3 的文件:  

b687753ef3444fbeb62aa1f6a9a7570d.png

 

3.模型替换

要使用自己生成的 marshal 模型需要到 python site-package 库里把 SnowNLP sentiment 原始的 mershal.3 模型文件替换掉。

◆ 获取 Site-Packages 路径

在当前 python 环境目录下执行下述脚本获取 Site-Packages 文件路径:

  1. def get_site_pkg_path():
  2. import site
  3. # Add snownlp/sentiment
  4. return site.getsitepackages()[0]

执行后获取对应 Site-Packages 路径地址:

cd /Users/XXX/miniforge3/PythonTest/lib/python3.8/site-packages

 

◆ 修改 mershal 模型

cd snownlp/sentiment

备份 sentiment 库文件夹下的 sentiment.marshal.3 文件,将我们 output 的模型文件 cp 到这里。

f0a0f1f373f141859c741b66757364e2.png

Tips:

最好备份下原始的模型,要不然将来需要还得再 pip install。 

 

4.模型测试

继续调用第二节情感分析一节的 sentiment_analysis 函数测试。

◆ 完整的训练负样本

使用训练过的负样本会得到非常逼近区间 [0,1] 的分数,正样本大家也可以测试下。

  1. text = "角色塑造太单调,毫无震撼力!"
  2. score = sentiment_analysis(text)
  3. -----------------------------
  4. 情感分数: 3.992483776915634e-07
  5. 该语句是消极的。

 

◆ 删减的训练负样本

使用删减过的负样本同样可以得到可靠的情感分析分数。

  1. text = "毫无震撼力!"
  2. score = sentiment_analysis(text)
  3. -------------------------------
  4. 情感分数: 0.004951768064722417
  5. 该语句是消极的。

 

◆ Bad Case 分析

自定义训练模型后原始判定为消极的句子可能判定为积极,我们去掉消极词后可以看到是由于其他词的 Positive  Ratio 太高,从而把 Negative 的词的 Ratio 带高了,从而造成误判。所以如果大家使用自定义模型,需要注意其可能在你的专业领域得到靠谱的情感分析,但是之前的泛化能力受到影响。

  1. text = "这个产品真的很垃圾!"
  2. 情感分数: 0.9208253155767703
  3. 该语句是积极的。
  4. -------------------------
  5. text = "这个产品真的很!"
  6. 情感分数: 0.9480748399538199
  7. 该语句是积极的。

 

5.SnowNLP 原理

b27fb597efaf44a59d43f713db4031f0.png

上面是 sentiment 的 __init__ 初始化代码,可以看到其使用的模型类型为 Bayes 概率统计模型,这个模型我们之前在机器学习部分讲过,其通过计算条件概率进行情感分析,核心思想是通过训练样本的分词结果构建先验概率分布,再基于先验概率分布计算出现某个情况后的后验概率。

◆ Bayes 公式

b9df4db8eb4744989ac70a347a9d08a2.png

 

◆ 先验概率

2afae2b2e9f94690a65e8cc3b5dfd5df.png

假设男生女生各 50 人,其通过 B/G 代表,则 P(B) = P(G) = 50 / (50  + 50) = 0.5。

其次规定事件 T 为是否穿长裤,其中男生 75% 的概率穿长裤,即 P(T|B) = 0.75,女生 50% 的概率穿长裤,即 P(T|G) = 0.5,这里 P(T|B/G) 即为先验概率,是我们通过概率统计计算而得。

 

◆ 后验概率

由条件概率公式可得,可以理解为穿长裤的男生的数量与男生穿长裤的数量一致:

P(BT) = P(B) * P(T|B) = P(T) * P(B|T)

由全概率公式可得,可以理解为穿长裤的概率等于男生、女生穿长裤的概率之和:

P(T) = P(B) * P(T|B) + P(G) * P(T|G)

所以可以推导出:

P(B|T) = P(B)·P(T|B) / P(T)

这里 P(B) 男生的概率、P(T) 穿长裤的概率、P(T|B) 男生穿长裤的概率都有,计算可得穿长裤的是男生的概率 P(B|T)。

 

◆ 情感模型

而对于上面情感分析的场景,我们 P(Sentiment) 即为积极 P、消极 N 两种选择,我们获取 text 进行分词得到 w1、w2 且可以得到 P(S|Wi) 即当前词的情感,从而最后推导出情感分析的概率计算:

eq?P%28S_i%7CW%29%20%3D%20%5Cfrac%7BP%28W_1%7CS_i%29P%28W_2%7CS_i%29...P%28W_n%7CS_i%29%5Ccdot%20P%28S_i%29%7D%7BP%28W_1%29P%28W_2%29%5Ccdots%20P%28W_n%29%7D

其中 Wi 为 Text W 中文本分词的结果,Si 对应 P、N 两种情感,我们计算 P(Si|W) 即文本对应的情感 S,P(Wi) 为对应词语出现的频次,P(Wi|Si) 为积极或消极场景中该词出现的概率,以此类推即可计算 Score。 

 

四.总结

SnowNLP 采用 Bayes 模型,支持自定义训练,开箱即用也很轻便,有需要情感分析的同学可以使用,当然语言模型 Bert 甚至大模型 LLM 现在也具备该场景功能,有兴趣的同学也可以微调模型获得更专业的情感分析模型。

完整的 Bayes 实战代码可以参考: 朴素贝叶斯-分类及Sklearn库实现 机器学习实战

 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Monodyee/article/detail/604622
推荐阅读
相关标签
  

闽ICP备14008679号