python 进行文本情感分析_python进行文本情感分析

wordcloud安装参考：下载安装wordcloud
snownlp安装参考：下载安装snownlp
jieba安装参考：使用码云下载Github文件
wordcloud强调python版本，snownlp和jieba不强调版本，我装的都是python3.6下的。
数据：和鲸社区数据-京东2k条评论

import pandas as pd
data = pd.read_csv('C:/Users/admin/Desktop/新建文件夹/京东评论数据.csv')
data.head(2)
1
2
3

2 rows × 21 columns

data1 = data[['sku_id','content']]
data1.head(10)
1
2

情感分析

from snownlp import SnowNLP
data1['emotion'] = data1['content'].apply(lambda x:SnowNLP(x).sentiments)
data1.head(10)
1
2
3

E:\Anconda\programfiles\lib\site-packages\ipykernel\__main__.py:2: SettingWithCopyWarning: 
A value is trying to be set on a copy of a slice from a DataFrame.
Try using .loc[row_indexer,col_indexer] = value instead

See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy
  from ipykernel import kernelapp as app
1
2
3
4
5
6

data1.describe()
1

emotion平均值为0.74，中位数为0.96，25%分位数为0.56，可见不到25%的数据造成了整体均值的较大下移。

import matplotlib.pyplot as plt
import numpy as np

plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False

bins=np.arange(0,1.1,0.1)
plt.hist(data1['emotion'],bins,color='#4F94CD',alpha=0.9)
plt.xlim(0,1)
plt.xlabel('情感分')
plt.ylabel('数量')
plt.title('情感分直方图')
plt.show()
1
2
3
4
5
6
7
8
9
10
11
12
13

由直方图可见，评论内容两级分化较为严重。
3637条评论中有约2200条评论情感分在[0.9，1]区间内；同时，有约500条评论情感分在[0，0.1]区间内。

from wordcloud import WordCloud
import jieba
w = WordCloud(font_path="msyh.ttc")   #font_path="msyh.ttc"，设置字体，否则显示不出来
text = ''
for s in data['content']:
    text += s
data_cut = ' '.join(jieba.lcut(text))
w.generate(data_cut)
image = w.to_file('词云图.png')
1
2
3
4
5
6
7
8
9

WordCloud各参数：https://blog.csdn.net/yaochuyi/article/details/80094659

#关键词top10
from jieba import analyse 
key_words = jieba.analyse.extract_tags(sentence=text, topK=10, withWeight=True, allowPOS=())
key_words
1
2
3
4

[('手机', 0.20904023041744998),
 ('不错', 0.10491967558213072),
 ('京东', 0.09431019624843097),
 ('屏幕', 0.054966423247022445),
 ('华为', 0.05061411737589104),
 ('小米', 0.04731076382922812),
 ('拍照', 0.04647606302614274),
 ('非常', 0.044200923839597485),
 ('手感', 0.04270424332006433),
 ('感觉', 0.040063432512755605)]
1
2
3
4
5
6
7
8
9
10

参数说明 ：
sentence 需要提取的字符串，必须是str类型，不能是list
topK 提取前多少个关键字
withWeight 是否返回每个关键词的权重
allowPOS是允许的提取的词性，默认为allowPOS=‘ns’, ‘n’, ‘vn’, ‘v’，提取地名、名词、动名词、动词

积极评论与消极评论

#计算积极评论与消极评论各自的数目
pos = 0
neg = 0
for i in data1['emotion']:
    if i >= 0.5:
        pos += 1
    else:
        neg += 1
print('积极评论，消极评论数目分别为：')
pos,neg
1
2
3
4
5
6
7
8
9
10

积极评论，消极评论数目分别为：
1

(2791, 846)

# 积极评论占比
import matplotlib.pyplot as plt 

plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus'] = False

pie_labels='postive','negative'
plt.pie([pos,neg],labels=pie_labels,autopct='%1.1f%%',shadow=True)

plt.show()
1
2
3
4
5
6
7
8
9
10

#获取消极评论数据
data2=data1[data1['emotion']<0.5]
data2.head(10)
1
2
3

#消极评论词云图
text2 = ''
for s in data2['content']:
    text2 += s
data_cut2 = ' '.join(jieba.lcut(text2))
w.generate(data_cut2)
image = w.to_file('消极评论词云.png')
1
2
3
4
5
6
7

#消极评论关键词top10
key_words = jieba.analyse.extract_tags(sentence=text2, topK=10, withWeight=True, allowPOS=())
key_words
1
2
3

[('手机', 0.19237764869875004),
 ('京东', 0.08930157104159077),
 ('未填写', 0.08087213276666493),
 ('评价', 0.06602737843353074),
 ('屏幕', 0.05285184715212572),
 ('快递', 0.050103021155518554),
 ('用户', 0.05005720904465942),
 ('充电', 0.04605195695403029),
 ('收到', 0.038929704221495554),
 ('没有', 0.03758001077768642)]
1
2
3
4
5
6
7
8
9
10

消极评论关键词显示，“屏幕”“快递”“充电”是造成用户体验不佳的几个重要因素，屏幕和充电问题有可能是手机不良品率过高或快递压迫。
因此平台应注重提高手机品控，降低不良品率，另外应设法提升发货，派送，派件的效率和质量。
本文使用jieba,snownlp,wordcloud，matplotlib等模块对文本数据进行了简要的情感分析及可视化，旨在了解用户使用体验，以此改进对平台运营提出优化建议。