Python+SSM懂车帝汽车数据分析平台 爬虫代码实例分析_python爬取懂车帝代码结尾

概述

网络爬虫一直是一项比较炫酷的技术，但是业界一直是Python爬完用django flask框架进行web端展示，今天咱们换个口味。用python爬取，用java展示

开发分析

一、总体目标
本系统全称为汽车信息评价分析系统。主要目的是提高评论信息管理的效率，开发的目的是为用户在汽车网爬取评论信息平台。本系统主要任务是设计开发一个基于python和msyql数据库的汽车信息评价分析系统，以后台数据管理分析为核心，建立以评论分析实现大数据分析可视化管理。
二、功能、性能以及可靠性要求
（一）爬虫技术
汽车信息评价分析系统通过利用爬虫，获取汽车网汽车评论内容存放入数据库，管理系统对所有评论信息进行分析和可视化处理。网站前台用户可以查看到所有汽车评论信息。
（二）数据库技术
利用MYSQL本地数据库，存放在汽车网爬取到的汽车信息，将汽车的汽车名、汽车图片、价格、评论等信息字段分别存入数据库。在以后的论文内容更新中也要加入数据库。
（三）SSM编程技术
利用IDEA编译器，使用SSM框架编程技术对本系统进行前端与后端的代码
处理。同时连接本地数据库，通过系统内的方法，使管理员可以直接在前端进行论文内容的各种操作。

开发技术

爬虫程序：Anconda3 PyCharm PyMySQL Requests框架
数据分析程序：ssm框架 百度echarts EasyUI前端框架

爬虫程序分析

先去用浏览器抓取懂车帝的访问url然后改成python代码抓取网页得到数据

#!/usr/bin/env python
# -*- coding: utf-8 -*-
import os
from io import BytesIO
from PIL import Image

import pymysql
import json
from bs4 import BeautifulSoup
import requests

"""

车辆信息列表页面

网址: https://www.dongchedi.com/motor/car_score/api/m/v1/landing_page/get_detail/?series_id=100&data_from=pc_station

参数说明:

https://www.dongchedi.com/motor/car_score/api/m/v1/landing_page/get_detail/?series_id=100&data_from=pc_station

# ajax方式获取车辆详细信息

# https://www.dongchedi.com/auto/library/x-x-x-x-x-x-x-x-x-x-x

参数说明：

clinic_web_c511c49e632a6564：详情参数

# 变量命名总结：
# 1.单下划线开头变量：protected
# 2.双下划线开头变量：private
# 3.双下划线开头，双下划线结尾：系统内置变量

"""


"""
参数：page     页码
     cityName 城市
"""
def __get_car_list_data(page,cityName):
    web_url = 'https://www.dongchedi.com/motor/brand/m/v6/select/series/?city_name='+cityName

    headers = {
        'User-Agent': "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",
        'Content-type': "application/json;charset=UTF-8"
    }
    data={
        "offset": page,
        "limit": 30,
        "is_refresh": 0,
        "city_name": "北京"
    }
    r = requests.post(headers = headers,url=web_url,data=data)
    _body = r.text
    return _body

"""
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59

数据可视化代码分析

数据可视化借助java的easyui 百度echarts插件




具体实现代码如下：

    @PostMapping("/barCharts")
    @ResponseBody
    public Map barCharts()
    {
        result=new HashMap<String,Object>();
        try
        {
            List<PicCharts> picCharts=carService.barCharts();
            result.put("code", ResponseCode.SUCCESS_HEAD);
            result.put("msg","success");
            result.put("data",picCharts);
        } catch (Exception e)
        {
            result.put("code", ResponseCode.EXCEPTION_HEAD);
            result.put("failure",true);
            result.put("msg",e.getMessage());
            e.printStackTrace();
        }
        return result;
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

很明显能感觉到这是返回json代码给前端进行封装可视化展现

分享给大家 希望我的讲解帮助大家学会Python+SSM开发模式