大数据毕业设计：基于python京东商品数据分析系统+可视化 +爬虫（附源码）✅_python爬取京东运动鞋销售数据进行数据分析示例代码

博主介绍：✌全网粉丝10W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久，选择我们就是选择放心、选择安心毕业✌感兴趣的可以先收藏起来，点赞、关注不迷路✌

毕业设计：2023-2024年计算机专业毕业设计选题汇总（建议收藏）

毕业设计：2023-2024年最新最全计算机专业毕设选题推荐汇总

1、项目介绍

技术栈：
Python语言、Django框架、selenium爬虫框架、谷歌Chromediver、Echarts可视化

2、项目界面

（1）商品类型与购买人数分析

（2）商品词云图

（3）店铺销量分析

（4）京东商品数据采集

（5）商品查询

（6）商品价格分析

3、项目说明

京东商品数据采集分析可视化系统是一个基于京东商品数据的数据采集、分析和可视化的系统。该系统能够自动抓取京东商品的信息，并对其进行分析和可视化展示，帮助用户了解商品的销售情况、价格变化趋势、用户评价等信息。

系统的主要功能包括：

1. 数据采集：系统能够自动抓取京东网站上的商品信息，包括商品名称、价格、销量、评价等。用户可以通过系统设置需要采集的商品类别或关键词，系统将自动从京东网站上抓取相关的商品信息。

2. 数据分析：系统能够对采集到的商品数据进行各种统计和分析，包括销售趋势分析、价格变化分析、用户评价分析等。用户可以根据自己的需求选择不同的分析指标和时间范围，系统将生成相应的分析报告和图表。

3. 数据可视化：系统能够将分析结果以图表的形式进行可视化展示，包括折线图、柱状图、饼图等。用户可以通过系统的可视化界面直观地了解商品的销售情况和趋势，方便决策和分析。

4. 数据导出：系统支持将采集到的数据和分析结果导出为Excel、CSV等常见的数据格式，方便用户进行更深入的分析和处理。

京东商品数据采集分析可视化系统可以帮助用户更好地了解京东商品的市场情况和竞争情况，提供数据支持和决策参考，对于京东商家和电商从业者具有重要的参考价值。

4、核心代码

from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium import webdriver
from bs4 import BeautifulSoup
from urllib import parse
import time
import pymysql
import os


class pachong_class:
    def __init__(self, B, O, word, pinpai):
        self.begin=B
        self.end =O
        self.word=word
        self.pinpai=pinpai
        # 实例化一个启动对象
        self.chrome_options = webdriver.ChromeOptions()
        # 设置浏览器以无界面方式运行
        # chrome_options.add_argument('--headless')
        self.browser = webdriver.Chrome(executable_path=os.path.join(os.getcwd(), 'app_jd') + '/chromedriver.exe',
                                   options=self.chrome_options)
        self.wait = WebDriverWait(self.browser, 10)
        self.db = pymysql.connect(host="127.0.0.1", user="root", password="123456", db="jd_goods")
        self.cursor = self.db.cursor()  # 使用cursor()方法获取操作游标
        self.count = 0


    def get_url(self,n, word,pinpai):
        print('正在爬取第' + str(n) + '页')
        time.sleep(8)
        # 确定要搜索的商品
        keyword = {'keyword':word}
        # 页面n与参数page的关系
        page = '&page=%s' % (2 * n - 1)
        pinpai='&ev=exbrand_%s'%(pinpai)
        url = 'https://search.jd.com/Search?' +parse.urlencode(keyword) +pinpai+'&enc=utf-8' + page
        print(url)
        return url


    def parse_page(self,url, pinpai):
        print('正在爬取信息并保存......')
        self.browser.get(url)
        # 滑轮下拉至底部，触发ajax
        for y in range(100):
            js = 'window.scrollBy(0,100)'
            self.browser.execute_script(js)
            time.sleep(0.1)
        self.wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#J_goodsList .gl-item')))
        html = self.browser.page_source
        soup = BeautifulSoup(html, 'lxml')
        # 找到所有商品标签
        goods = soup.find_all('li', class_="gl-item")
        # 遍历每个商品，得到每个商品的信息
        for good in goods:
            num = good['data-sku']
            tag = good.find('div', class_="p-price").strong.em.string
            money = good.find('div', class_="p-price").strong.i.string
            # 因为有些商品没有店铺名，检索store时找不到对应的节点导致报错，故将其设置为“没有找到店铺名”
            store = good.find('div', class_="p-shop").span
            pingjia = good.find('div', class_="p-commit").strong.a.string
            name = good.find('div', class_="p-name p-name-type-2").a.em
            picture = good.find('div', class_="p-img").a.img.get('src')
            address = good.find('div', class_="p-img").find('a')['href']

            if store is not None:
                new_store = store.a.string
            else:
                new_store = '没有找到店铺名'
            new_name = ''
            for item in name.strings:
                new_name = new_name + item
            product = (num, pinpai, new_name, money, new_store, pingjia, picture, address)
            self.save_to_mysql(product)
            #print(product)

    def save_to_mysql(self,result):

        sql = "INSERT INTO app_jd_yuanshi(sku,pinpai,miaoshu,jiage,shangdian,pingjia,tupian_url,zhuye) \
                VALUES ('%d','%s', '%s','%d', '%s','%s', '%s','%s')" % \
                (int(result[0]),result[1],result[2],float(result[3]),result[4],result[5],result[6],result[7])
        print("sql",sql)
        try:
            self.cursor.execute(sql)  # 执行sql语句
            self.db.commit()  # 提交到数据库执行
            print('保存成功！')
            self.count+=1
        except:
            self.db.rollback()  # 发生错误时回滚
            print('保存失败！')


    def get_data(self):
        try:
            print(self.begin,self.end,self.word,self.pinpai)

            # 京东最大页面数为100
            if 1 <= self.end <= 100:
                page = self.end + 1
                for n in range(self.begin, page):
                    url = self.get_url(n, self.word, self.pinpai)
                    self.parse_page(url, self.pinpai)
                print('爬取完毕！')
                self.db.close()  # 关闭数据库连接
                self.browser.close()
                return (self.count)
            else:
                print('请重新输入！')
                return ('请重新输入！')
        except Exception as error:
            print('出现异常！', error)
            return ('出现异常！', error)


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117