Python大数据-电商产品评论情感数据分析，下血本买的_电商评论的情感分析 csdn

五、 数据分析

=======

评论数据情感倾向分析

---

匹配情感词

• 情感倾向也称为情感极性。在某商品评论中，可以理解为用户对该商品表达自身观点所持的态度是支持、反对还是中立，即通常所指的正面情感、负面情感、中性情感。对评论情感倾向进行分析首先要对情感词进行匹配，使用知网发布的“情感分析用词语集 ( beta版)"中的“中文正面评价”词表、“中文负面评价”“中文正面情感”“中文负面情感”词表等。将“中文正面评价”“中文正面情感”两个词表合并，并给每个词语赋予初始权重1，作为正面评论情感词表。将“中文负面评价”“中文负面情感”两个词表合并，并给每个词语赋予初始权重-1，作为负面评论情感词表。

• 读入正负面评论情感词表，正面词语赋予初始权重1，负面词语赋予初始权重-1，使用merge函数按照词语情感词表与分词结果进行匹配。

import pandas as pd

import numpy as np

word = pd.read_csv(“…/tmp/result.csv”)

读入正面、负面情感评价词

pos_comment = pd.read_csv(“…/data/正面评价词语（中文）.txt”, header=None,sep=“\n”,

encoding = ‘utf-8’, engine=‘python’)

neg_comment = pd.read_csv(“…/data/负面评价词语（中文）.txt”, header=None,sep=“\n”,

encoding = ‘utf-8’, engine=‘python’)

pos_emotion = pd.read_csv(“…/data/正面情感词语（中文）.txt”, header=None,sep=“\n”,

encoding = ‘utf-8’, engine=‘python’)

neg_emotion = pd.read_csv(“…/data/负面情感词语（中文）.txt”, header=None,sep=“\n”,

encoding = ‘utf-8’, engine=‘python’)

合并情感词与评价词

positive = set(pos_comment.iloc[:,0])|set(pos_emotion.iloc[:,0])

negative = set(neg_comment.iloc[:,0])|set(neg_emotion.iloc[:,0])

intersection = positive&negative # 正负面情感词表中相同的词语

positive = list(positive - intersection)

negative = list(negative - intersection)

positive = pd.DataFrame({“word”:positive,

“weight”:[1]*len(positive)})

negative = pd.DataFrame({“word”:negative,

“weight”:[-1]*len(negative)})

posneg = positive.append(negative)

将分词结果与正负面情感词表合并，定位情感词

data_posneg = posneg.merge(word, left_on = ‘word’, right_on = ‘word’,

how = ‘right’)

data_posneg = data_posneg.sort_values(by = [‘index_content’,‘index_word’])

修正情感倾向

• 情感倾向修正主要根据情感词前面两个位置的词语是否存在否定词而去判断情感值的正确与否，由于汉语中存在多重否定现象，即当否定词出现奇数次时，表示否定意思;当否定词出现偶数次时，表示肯定意思。按照汉语习惯，搜索每个情感词前两个词语,若出现奇数否定词，则调整为相反的情感极性。

根据情感词前时候有否定词或双层否定词对情感值进行修正

载入否定词表

notdict = pd.read_csv(“…/data/not.csv”)

处理否定修饰词

data_posneg[‘amend_weight’] = data_posneg[‘weight’] # 构造新列，作为经过否定词修正后的情感值

data_posneg[‘id’] = np.arange(0, len(data_posneg))

only_inclination = data_posneg.dropna() # 只保留有情感值的词语

only_inclination.index = np.arange(0, len(only_inclination))

index = only_inclination[‘id’]

for i in np.arange(0, len(only_inclination)):

review = data_posneg[data_posneg[‘index_content’] ==

only_inclination[‘index_content’][i]] # 提取第i个情感词所在的评论

更新只保留情感值的数据

only_inclination = only_inclination.dropna()

计算每条评论的情感值

emotional_value = only_inclination.groupby([‘index_content’],

as_index=False)[‘amend_weight’].sum()

去除情感值为0的评论

emotional_value = emotional_value[emotional_value[‘amend_weight’] != 0]

使用wordcloud包下的 WordCloud 函数分别对正面评论和负面评论绘制词云，以查看情感分析效果。

给情感值大于0的赋予评论类型（content_type）为pos,小于0的为neg

emotional_value[‘a_type’] = ‘’

emotional_value[‘a_type’][emotional_value[‘amend_weight’] > 0] = ‘pos’

emotional_value[‘a_type’][emotional_value[‘amend_weight’] < 0] = ‘neg’

查看情感分析结果

result = emotional_value.merge(word,

                           left_on = 'index_content', 
1

                           right_on = 'index_content',
1

                           how = 'left')
1

result = result[[‘index_content’,‘content_type’, ‘a_type’]].drop_duplicates()

confusion_matrix = pd.crosstab(result[‘content_type’], result[‘a_type’],

                           margins=True)  # 制作交叉表
1

(confusion_matrix.iat[0,0] + confusion_matrix.iat[1,1])/confusion_matrix.iat[2,2]

提取正负面评论信息

ind_pos = list(emotional_value[emotional_value[‘a_type’] == ‘pos’][‘index_content’])

ind_neg = list(emotional_value[emotional_value[‘a_type’] == ‘neg’][‘index_content’])

posdata = word[[i in ind_pos for i in word[‘index_content’]]]

negdata = word[[i in ind_neg for i in word[‘index_content’]]]

绘制词云

import matplotlib.pyplot as plt

from wordcloud import WordCloud

正面情感词词云

freq_pos = posdata.groupby(by = [‘word’])[‘word’].count()

freq_pos = freq_pos.sort_values(ascending = False)

backgroud_Image=plt.imread(‘…/data/pl.jpg’)

wordcloud = WordCloud(font_path=“simkai.ttf”,

                  max_words=100,
1

                  background_color='white',
1

                  mask=backgroud_Image)
1

pos_wordcloud = wordcloud.fit_words(freq_pos)

plt.imshow(pos_wordcloud)

plt.axis(‘off’)

plt.show()

负面情感词词云

freq_neg = negdata.groupby(by = [‘word’])[‘word’].count()

freq_neg = freq_neg.sort_values(ascending = False)

neg_wordcloud = wordcloud.fit_words(freq_neg)

plt.imshow(neg_wordcloud)

plt.axis(‘off’)

plt.show()

将结果写出,每条评论作为一行

posdata.to_csv(“…/tmp/posdata.csv”, index = False, encoding = ‘utf-8’)

negdata.to_csv(“…/tmp/negdata.csv”, index = False, encoding = ‘utf-8’)

可以看到在正面情感评论词云图中可以发现：“不错”、“喜欢”、“满意”、“舒服”等词出现的词频较高，且没有出现负面情感的词语。从负面情感评论中可以发现：“做工”、“客服”、“差”等出现词频较高，没有发现掺杂正面情感的词语，由此可以正面通过词表来分析文本的情感程度是有效的。

LDA模型进行主题分析

• 主题模型在自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。判断两个文档相似性的传统方法是通过查看两个文档共同出现的单词的多少，如TF(词频)、TF-IDF(词频—逆向文档频率)等，这种方法没有考虑文字背后的语义关联，例如，两个文档共同出现的单词很少甚至没有，但两个文档是相似的，**因此在判断文档相似性时，需要使用主题模型进行语义分析并判断文档相似性。**如果一篇文档有多个主题，则一些特定的可代表不同主题的词语就会反复出现，此时，运用主题模型，能够发现文本中使用词语的规律，并且把规律相似的文本联系到一起，以寻求非结构化的文本集中的有用信息。

• LDA主题模型：潜在狄利克雷分配，即LDA模型（Latent Dirichlet Allocation,LDA)是由Blei等人于2003年提出的生成式主题模型生成模型，即认为每一篇文档的每一个词都是通过“一定的概率选择了某个主题，并从这个主题中以一定的概率选择了某个词语”。LDA模型也被称为3层贝叶斯概率模型，包含文档(d)、主题(z)、词(w)3层结构，能够有效对文本进行建模，和传统的空间向量模型（VSM)相比，增加了概率的信息。通过LDA主题模型，能够挖掘数据集中的潜在主题，进而分析数据集的集中关注点及其相关特征词。

• LDA主题模型是一种无监督的模式，**只需要提供训练文档，就可以自动训练出各种概率，无须任何人工标注过程，节省了大量的人力及时间。**它在文本聚类、主题分析、相似度计算等方面都有广泛的应用。相对于其他主题模型，其引人了狄利克雷先验知识。因此，模型的泛化能力较强，不易出现过拟合现象，建立LDA主题模型，首先要建立词典及语料库

import pandas as pd

import numpy as np

import re

import itertools

import matplotlib.pyplot as plt

载入情感分析后的数据

posdata = pd.read_csv(“…/data/posdata.csv”, encoding = ‘utf-8’)

negdata = pd.read_csv(“…/data/negdata.csv”, encoding = ‘utf-8’)

from gensim import corpora, models

建立词典

pos_dict = corpora.Dictionary([[i] for i in posdata[‘word’]]) # 正面

neg_dict = corpora.Dictionary([[i] for i in negdata[‘word’]]) # 负面

建立语料库

pos_corpus = [pos_dict.doc2bow(j) for j in [[i] for i in posdata[‘word’]]] # 正面

neg_corpus = [neg_dict.doc2bow(j) for j in [[i] for i in negdata[‘word’]]] # 负面

寻找最优主题数

• 基于相似度的自适应最优LDA模型选择方法，确定主题数并进行主题分析。实验证明该方法可以在不需要人工调试主题数目的情况下，用相对少的迭代找到最优的主题结构。具体步骤如下:

• 1）取初始主题数k值，得到初始模型，计算各主题之间的相似度(平均余弦距离)。

• 2）增加或减少k值,重新训练模型，再次计算各主题之间的相似度。

• 3 ）重复步骤2直到得到最优k值。

• 利用各主题间的余弦相似度来度量主题间的相似程度。从词频入手，计算它们的相似度，用词越相似,则内容越相近。

 构造主题数寻优函数
1

def cos(vector1, vector2):  # 余弦相似度函数
1

    dot_product = 0.0;  
1

    normA = 0.0;  
1

    normB = 0.0;  
1

    for a,b in zip(vector1, vector2): 
1

        dot_product += a*b  
1

        normA += a**2  
1

        normB += b**2  
1

    if normA == 0.0 or normB==0.0:  
1

        return(None)  
1

    else:  
1

        return(dot_product / ((normA*normB)**0.5))   
1

# 计算主题平均余弦相似度
1

pos_k = lda_k(pos_corpus, pos_dict)
1

neg_k = lda_k(neg_corpus, neg_dict)        
1

# 绘制主题平均余弦相似度图形
1

from matplotlib.font_manager import FontProperties  
1

font = FontProperties(size=14)
1

#解决中文显示问题
1

plt.rcParams['font.sans-serif']=['SimHei']
1

plt.rcParams['axes.unicode_minus'] = False  
1

fig = plt.figure(figsize=(10,8))
1

ax1 = fig.add_subplot(211)
1

ax1.plot(pos_k)
1

ax1.set_xlabel('正面评论LDA主题数寻优', fontproperties=font)
1

ax2 = fig.add_subplot(212)
1

ax2.plot(neg_k)
1

ax2.set_xlabel('负面评论LDA主题数寻优', fontproperties=font)
1

![](https://img-blog.csdnimg.cn/071fcdeaedaf47c39e125ba90a57e5ce.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5L2g6ZqU5aOB55qE5bCP546L,size_20,color_FFFFFF,t_70,g_se,x_16)
1

**从图中可以发现，当主题数为2时，主题间的余弦相似度达到最低，因此选择主题数为2**
1

评价主题分析结果

根据主题数寻优结果，使用Python的Gensim模块对正面评论数据和负面评论数据分别构建LDA主题模型，选取主题数为2，经过LDA主题分析后，每个主题下生成10个最有可能出现的词语及相应的概率

LDA主题分析

pos_lda = models.LdaModel(pos_corpus, num_topics = 2, id2word = pos_dict)

neg_lda = models.LdaModel(neg_corpus, num_topics = 2, id2word = neg_dict)

pos_lda.print_topics(num_words = 10)

neg_lda.print_topics(num_words = 10)

整理：

正面评价潜在主题：

负面评价潜在主题：

六、 结论分析

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

-blog.csdnimg.cn/img_convert/6c361282296f86381401c05e862fe4e9.png)

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-6Noayagj-1710978165035)]