赞
踩
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
result = result[result[‘nature’] != ‘x’] # x表示标点符号
stop_path = open(“…/data/stoplist.txt”, ‘r’,encoding=‘UTF-8’)
stop = stop_path.readlines()
stop = [x.replace(‘\n’, ‘’) for x in stop]
word = list(set(word) - set(stop))
result = result[result[‘word’].isin(word)]
n_word = list(result.groupby(by = [‘index_content’])[‘index_content’].count())
index_word = [list(np.arange(0, y)) for y in n_word]
index_word = sum(index_word, []) # 表示词语在改评论的位置
result[‘index_word’] = index_word
result
处理后表格样式
提取含有名词的评论
提取评论中词性含有**“n”(名词)**的评论,
ind = result[[‘n’ in x for x in result[‘nature’]]][‘index_content’].unique()
result = result[[x in ind for x in result[‘index_content’]]]
进行数据预处理后,可绘制词云查看分词效果,词云会将文本中出现频率较高的“关键词”予以视觉上的突出。首先需要对词语进行词频统计,将词频按照降序排序,选择前100个词,使用wordcloud模块中的WordCloud绘制词云,查看分词效果(常用字体代码)
import matplotlib.pyplot as plt
from wordcloud import WordCloud
frequencies = result.groupby(by = [‘word’])[‘word’].count()
frequencies = frequencies.sort_values(ascending = False)
backgroud_Image=plt.imread(‘…/data/pl.jpg’)
wordcloud = WordCloud(font_path=“simkai.ttf”,
max_words=100,
background_color=‘white’,
mask=backgroud_Image)
my_wordcloud = wordcloud.fit_words(frequencies)
plt.imshow(my_wordcloud)
plt.axis(‘off’)
plt.show()
从生成的词云图中可以初步判断用户比较在意的是音质、质感、续航、舒适度等关键词
五、 数据分析
=======
评论数据情感倾向分析
情感倾向也称为情感极性。在某商品评论中,可以理解为用户对该商品表达自身观点所持的态度是支持、反对还是中立,即通常所指的正面情感、负面情感、中性情感。对评论情感倾向进行分析首先要对情感词进行匹配,使用知网发布的“情感分析用词语集 ( beta版)"中的“中文正面评价”词表、“中文负面评价”“中文正面情感”“中文负面情感”词表等。将“中文正面评价”“中文正面情感”两个词表合并,并给每个词语赋予初始权重1,作为正面评论情感词表。将“中文负面评价”“中文负面情感”两个词表合并,并给每个词语赋予初始权重-1,作为负面评论情感词表。
读入正负面评论情感词表,正面词语赋予初始权重1,负面词语赋予初始权重-1,使用merge函数按照词语情感词表与分词结果进行匹配。
import pandas as pd
import numpy as np
word = pd.read_csv(“…/tmp/result.csv”)
pos_comment = pd.read_csv(“…/data/正面评价词语(中文).txt”, header=None,sep=“\n”,
encoding = ‘utf-8’, engine=‘python’)
neg_comment = pd.read_csv(“…/data/负面评价词语(中文).txt”, header=None,sep=“\n”,
encoding = ‘utf-8’, engine=‘python’)
pos_emotion = pd.read_csv(“…/data/正面情感词语(中文).txt”, header=None,sep=“\n”,
encoding = ‘utf-8’, engine=‘python’)
neg_emotion = pd.read_csv(“…/data/负面情感词语(中文).txt”, header=None,sep=“\n”,
encoding = ‘utf-8’, engine=‘python’)
positive = set(pos_comment.iloc[:,0])|set(pos_emotion.iloc[:,0])
negative = set(neg_comment.iloc[:,0])|set(neg_emotion.iloc[:,0])
intersection = positive&negative # 正负面情感词表中相同的词语
positive = list(positive - intersection)
negative = list(negative - intersection)
positive = pd.DataFrame({“word”:positive,
“weight”:[1]*len(positive)})
negative = pd.DataFrame({“word”:negative,
“weight”:[-1]*len(negative)})
posneg = positive.append(negative)
data_posneg = posneg.merge(word, left_on = ‘word’, right_on = ‘word’,
how = ‘right’)
data_posneg = data_posneg.sort_values(by = [‘index_content’,‘index_word’])
notdict = pd.read_csv(“…/data/not.csv”)
data_posneg[‘amend_weight’] = data_posneg[‘weight’] # 构造新列,作为经过否定词修正后的情感值
data_posneg[‘id’] = np.arange(0, len(data_posneg))
only_inclination = data_posneg.dropna() # 只保留有情感值的词语
only_inclination.index = np.arange(0, len(only_inclination))
index = only_inclination[‘id’]
for i in np.arange(0, len(only_inclination)):
review = data_posneg[data_posneg[‘index_content’] ==
only_inclination[‘index_content’][i]] # 提取第i个情感词所在的评论
only_inclination = only_inclination.dropna()
emotional_value = only_inclination.groupby([‘index_content’],
as_index=False)[‘amend_weight’].sum()
emotional_value = emotional_value[emotional_value[‘amend_weight’] != 0]
使用wordcloud包下的 WordCloud 函数分别对正面评论和负面评论绘制词云,以查看情感分析效果。
给情感值大于0的赋予评论类型(content_type)为pos,小于0的为neg
emotional_value[‘a_type’] = ‘’
emotional_value[‘a_type’][emotional_value[‘amend_weight’] > 0] = ‘pos’
emotional_value[‘a_type’][emotional_value[‘amend_weight’] < 0] = ‘neg’
查看情感分析结果
result = emotional_value.merge(word,
left_on = 'index_content',
- 1
right_on = 'index_content',
- 1
how = 'left')
- 1
result = result[[‘index_content’,‘content_type’, ‘a_type’]].drop_duplicates()
confusion_matrix = pd.crosstab(result[‘content_type’], result[‘a_type’],
margins=True) # 制作交叉表
- 1
(confusion_matrix.iat[0,0] + confusion_matrix.iat[1,1])/confusion_matrix.iat[2,2]
提取正负面评论信息
ind_pos = list(emotional_value[emotional_value[‘a_type’] == ‘pos’][‘index_content’])
ind_neg = list(emotional_value[emotional_value[‘a_type’] == ‘neg’][‘index_content’])
posdata = word[[i in ind_pos for i in word[‘index_content’]]]
negdata = word[[i in ind_neg for i in word[‘index_content’]]]
绘制词云
import matplotlib.pyplot as plt
from wordcloud import WordCloud
正面情感词词云
freq_pos = posdata.groupby(by = [‘word’])[‘word’].count()
freq_pos = freq_pos.sort_values(ascending = False)
backgroud_Image=plt.imread(‘…/data/pl.jpg’)
wordcloud = WordCloud(font_path=“simkai.ttf”,
max_words=100,
- 1
background_color='white',
- 1
mask=backgroud_Image)
- 1
pos_wordcloud = wordcloud.fit_words(freq_pos)
plt.imshow(pos_wordcloud)
plt.axis(‘off’)
plt.show()
负面情感词词云
freq_neg = negdata.groupby(by = [‘word’])[‘word’].count()
freq_neg = freq_neg.sort_values(ascending = False)
neg_wordcloud = wordcloud.fit_words(freq_neg)
plt.imshow(neg_wordcloud)
plt.axis(‘off’)
plt.show()
将结果写出,每条评论作为一行
posdata.to_csv(“…/tmp/posdata.csv”, index = False, encoding = ‘utf-8’)
negdata.to_csv(“…/tmp/negdata.csv”, index = False, encoding = ‘utf-8’)
可以看到在正面情感评论词云图中可以发现:“不错”、“喜欢”、“满意”、“舒服”等词出现的词频较高,且没有出现负面情感的词语。从负面情感评论中可以发现:“做工”、“客服”、“差”等出现词频较高,没有发现掺杂正面情感的词语,由此可以正面通过词表来分析文本的情感程度是有效的。
主题模型在自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。判断两个文档相似性的传统方法是通过查看两个文档共同出现的单词的多少,如TF(词频)、TF-IDF(词频—逆向文档频率)等,这种方法没有考虑文字背后的语义关联,例如,两个文档共同出现的单词很少甚至没有,但两个文档是相似的,**因此在判断文档相似性时,需要使用主题模型进行语义分析并判断文档相似性。**如果一篇文档有多个主题,则一些特定的可代表不同主题的词语就会反复出现,此时,运用主题模型,能够发现文本中使用词语的规律,并且把规律相似的文本联系到一起,以寻求非结构化的文本集中的有用信息。
LDA主题模型:潜在狄利克雷分配,即LDA模型(Latent Dirichlet Allocation,LDA)是由Blei等人于2003年提出的生成式主题模型生成模型,即认为每一篇文档的每一个词都是通过“一定的概率选择了某个主题,并从这个主题中以一定的概率选择了某个词语”。LDA模型也被称为3层贝叶斯概率模型,包含文档(d)、主题(z)、词(w)3层结构,能够有效对文本进行建模,和传统的空间向量模型(VSM)相比,增加了概率的信息。通过LDA主题模型,能够挖掘数据集中的潜在主题,进而分析数据集的集中关注点及其相关特征词。
LDA主题模型是一种无监督的模式,**只需要提供训练文档,就可以自动训练出各种概率,无须任何人工标注过程,节省了大量的人力及时间。**它在文本聚类、主题分析、相似度计算等方面都有广泛的应用。相对于其他主题模型,其引人了狄利克雷先验知识。因此,模型的泛化能力较强,不易出现过拟合现象,建立LDA主题模型,首先要建立词典及语料库
import pandas as pd
import numpy as np
import re
import itertools
import matplotlib.pyplot as plt
载入情感分析后的数据
posdata = pd.read_csv(“…/data/posdata.csv”, encoding = ‘utf-8’)
negdata = pd.read_csv(“…/data/negdata.csv”, encoding = ‘utf-8’)
from gensim import corpora, models
建立词典
pos_dict = corpora.Dictionary([[i] for i in posdata[‘word’]]) # 正面
neg_dict = corpora.Dictionary([[i] for i in negdata[‘word’]]) # 负面
建立语料库
pos_corpus = [pos_dict.doc2bow(j) for j in [[i] for i in posdata[‘word’]]] # 正面
neg_corpus = [neg_dict.doc2bow(j) for j in [[i] for i in negdata[‘word’]]] # 负面
- 基于相似度的自适应最优LDA模型选择方法,确定主题数并进行主题分析。实验证明该方法可以在不需要人工调试主题数目的情况下,用相对少的迭代找到最优的主题结构。具体步骤如下:
- 1)取初始主题数k值,得到初始模型,计算各主题之间的相似度(平均余弦距离)。
- 2)增加或减少k值,重新训练模型,再次计算各主题之间的相似度。
- 3 )重复步骤2直到得到最优k值。
- 利用各主题间的余弦相似度来度量主题间的相似程度。从词频入手,计算它们的相似度,用词越相似,则内容越相近。
构造主题数寻优函数
- 1
def cos(vector1, vector2): # 余弦相似度函数
- 1
dot_product = 0.0;
- 1
normA = 0.0;
- 1
normB = 0.0;
- 1
for a,b in zip(vector1, vector2):
- 1
dot_product += a*b
- 1
normA += a**2
- 1
normB += b**2
- 1
if normA == 0.0 or normB==0.0:
- 1
return(None)
- 1
else:
- 1
return(dot_product / ((normA*normB)**0.5))
- 1
# 计算主题平均余弦相似度
- 1
pos_k = lda_k(pos_corpus, pos_dict)
- 1
neg_k = lda_k(neg_corpus, neg_dict)
- 1
# 绘制主题平均余弦相似度图形
- 1
from matplotlib.font_manager import FontProperties
- 1
font = FontProperties(size=14)
- 1
#解决中文显示问题
- 1
plt.rcParams['font.sans-serif']=['SimHei']
- 1
plt.rcParams['axes.unicode_minus'] = False
- 1
fig = plt.figure(figsize=(10,8))
- 1
ax1 = fig.add_subplot(211)
- 1
ax1.plot(pos_k)
- 1
ax1.set_xlabel('正面评论LDA主题数寻优', fontproperties=font)
- 1
ax2 = fig.add_subplot(212)
- 1
ax2.plot(neg_k)
- 1
ax2.set_xlabel('负面评论LDA主题数寻优', fontproperties=font)
- 1
![](https://img-blog.csdnimg.cn/071fcdeaedaf47c39e125ba90a57e5ce.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5L2g6ZqU5aOB55qE5bCP546L,size_20,color_FFFFFF,t_70,g_se,x_16)
- 1
**从图中可以发现,当主题数为2时,主题间的余弦相似度达到最低,因此选择主题数为2**
- 1
根据主题数寻优结果,使用Python的Gensim模块对正面评论数据和负面评论数据分别构建LDA主题模型,选取主题数为2,经过LDA主题分析后,每个主题下生成10个最有可能出现的词语及相应的概率
pos_lda = models.LdaModel(pos_corpus, num_topics = 2, id2word = pos_dict)
neg_lda = models.LdaModel(neg_corpus, num_topics = 2, id2word = neg_dict)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
建LDA主题模型,选取主题数为2,经过LDA主题分析后,每个主题下生成10个最有可能出现的词语及相应的概率
pos_lda = models.LdaModel(pos_corpus, num_topics = 2, id2word = pos_dict)
neg_lda = models.LdaModel(neg_corpus, num_topics = 2, id2word = neg_dict)
[外链图片转存中…(img-21D6HG0K-1715230435268)]
[外链图片转存中…(img-C9HFpQ4h-1715230435269)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。