对京东评论进行情感分析—LDA模型_基于lda模型的情感分析模型

对京东评论进行情感分析—LDA模型

根据python制作词云图和python爬取京东评论，我们对商品评论做进一步分析。

一、情感分析的用途

首先，我们先看情感分析这个概念，百度上基本都是文本情感分析的介绍，大概意识是通过一些文本来分析其正面和负面的倾向性，从而进行相应的文本挖掘。

感觉上有点抽象，我个人这样理解的，当我们获取一段文本或者很多段文本时，我们先要对文本进行情感分析，比如说，“这个产品很棒”，那我们觉得这段文本便是正向的，很简单。但是随着科技的不断进步，评论越来越多，我们无法将其完整的看完，这时，我们便可以抽取大量文本的主题，能够很好的进行信息挖掘。同时，我们既想在大段文本中知道正向主题，又想知道负向主题，那这时便可以进行情感分析。

二、数据准备

因为之前我们已经爬取过评论，对爬取信息这块不多说。只说一些注意的点：

第一，由于我们需要正向和负向两种评论，在爬取时，我们只需要将url中的score进行变化，score=0是五星，在这里我只爬取了score=0和score=1两种，即五星和一星，分别爬取51页，大概就有1020条数据，大家可以多用其他score,比如说，将score=0，score=4作为正向，score=1和score=2作为负向，分别爬取50页，差不多有2000条数据，再进行以下操作。

url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=5225346&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&rid=0&fold=1'.format(page)
1

第二，不知道是电脑原因，还是代码原因，我这里只能将评论读入excel才能进行下面的操作，大家可以用文本的方式进行尝试。我这边是跑的积极评论的代码，要获得消极的，换第二个url。

import requests
import json
import xlwt
f = xlwt.Workbook()
sheetwrite = f.add_sheet('comment')
sheetwrite.write(0,0,'comment')
k = 1
for page in range(0,50+1):
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36"}

    url1 = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=5225346&score=0&sortType=5&page&#
1
2
3
4
5
6
7
8
9
10
11