Python京东商品评论爬取及可视化_sublime下电商评论lda可视化

目录

前言

环境使用

模块使用

数据来源分析

1.明确需求

2.抓包分析

代码实现

导入模块

请求数据

解析数据

保存数据

数据可视化

词云图

商品购买情况

购买人数TOP10省份

评论时间折线图

总结

---

前言

临近毕业季，很多同学正在为毕业设计而发愁，无非就是一些爬虫及可视化、情感分析等等。今天就给大家带来一篇python京东商品评论爬取及可视化教程，希望大家可以顺利毕业！！！

环境使用

Python 3.8

Pycharm专业版

Jupyter notebook

模块使用

requests

csv

数据来源分析

1.明确需求

此次爬取的是欧莱雅洗面奶的商品评论信息

2.抓包分析

按F12，打开开发者工具，点击搜索，输入你想要的数据

找到评论数据链接

代码实现

导入模块

import requests
import csv

请求数据

模拟浏览器: <可以直接复制>
response.text 获取响应文本数据
response.json() 获取响应json字典数据
response.content 获取响应二进制数据
我们使用requests.get()方法向指定的url发送get请求，并获取到响应的内容

url = 'https://api.m.jd.com/?appid=item-v3&functionId=pc_club_productPageComments&client=pc&clientVersion=1.0.0&t=1701082580619&loginType=3&uuid=122270672.1926033728.1699957817.1699962051.1701081801.3&productId=100019781894&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1&bbtf=&shield='
header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/104.0.0.0 Safari/537.36',}
response = requests.get(url=url, headers=headers).json()

解析数据

使用json键值对获取需要的评论信息，包括评论内容，评论时间等。

comments = response['comments']
for comment in comments:
    content = (comment['content']).replace('\n', '')
    creationTime = comment['creationTime']
    productColor = comment['productColor']
    location = comment['location']
    referenceName = comment['referenceName']
    print(content, creationTime, productColor, location, referenceName)

保存数据

f = open(f'洗面奶.csv', mode='a', encoding='gbk', newline='')
csv_write = csv.DictWriter(f, fieldnames=['评论', '评论时间', '商品', 'IP', '参考名称'])
csv_write.writeheader()

数据可视化

import pandas as pd
import numpy as np
df = pd.read_csv('洗面奶.csv')
df.fillna('未知', inplace=True)  # 填充空值
df.head()

词云图

商品购买情况

购买人数TOP10省份

评论时间折线图

总结

本文获取了京东上欧莱雅洗面奶的评论数据，对数据进行各个维度的分析，并用Python进行可视化。需要完整项目代码的点此链接获取。