计算机毕业设计 基于python的外卖大数据分析系统_外卖数据分析软件

文末获取资源，收藏关注不迷路

前言

最近几年，互联网技术得到了很大的发展，互联网已经从最初的一个获得资讯的工具，慢慢地进入到了我们的生活中，变成了我们的日常。我们饥饿的时候，会想到“美团”，旅行的时候，会想到“滴滴”，旅行的时候，会想到“去哪儿”，可以说，互联网已经成为了人们交流信息的主要渠道。如何快速、高效、准确地获取互联网上的资讯，已是一个亟待解决的课题。现在，不管是政府，还是企业，对大数据的收集、分析和发布，都给予了极大的支持。但是，如果是人工采集的话，速度会很慢，费用也会很高。
在这样的背景和要求之下，在对信息采集技术的工作原理，以及常见的爬虫框架、采集算法进行了深入的学习和研究，在对信息网站的结构特征进行了深刻的分析之后，结合采集对象的特征，将两种算法相结合，设计出了四种采集程序，并基于Soapy框架，采用了中间件技术，开发了动态浏览器标识和代理池。利用MySQL数据库和云平台虚拟化技术，构建了一套可靠性和可行性极高的分布式收集集群，提高了数据收集效率，利用PYQT5实现跨平台的信息发布程序，利用Selenium自动化工具，解决了网站登陆、网站查询以及模拟人工进行数据收集。利用FLASK技术实现了资料收集与管理系统及大屏幕的显示功能。另外，在数据清洗的基础上，通过数据清洗，格式转换，移除和增加对象，以达到数据的一致性。
本文以Python为基础，对外卖数据进行了分析，从而极大地降低了有关产业的资讯工作者的工作强度，为更快、更好、更方便地获得发布资讯，提供了技术支撑。到现在为止，这个系统已经从最初的收集对象，到最近的几百个国际和国内的站点，已经有一年多的时间了，收集到了395万条的数据。

一、研究背景

由于因特网技术的不断进步，因特网上的各种应用越来越多，因特网已成为人们获取资讯的重要途径。要想充分、快速、准确地获取网络上的信息，通常都会有各种信息收集方式。过去，依靠手工的收集方式不仅成本高，而且时间也很差，而信息采集技术的诞生，就可以将数据收集方面存在的问题给解决掉。该资讯收集系统也可称作网络爬行器资讯收集系统。现有的信息收集程序可以划分为：通用型信息收集、主题型信息收集、增量型信息收集和在以上程序基础上进行的分布式应用。对于一般类型的数据获取，有两种常用的获取方法：一种是深度优先获取方法，另一种是宽度优先获取方法。尽管一般的数据收集软件与话题不相关，但对于像百度这样的搜索引擎来说，它具有巨大的应用价值。主题型的收集程序是收集有兴趣的网页的信息，例如，获得一个通用网站的信息，可以仅获得这个信息的细节页面URL，并通过页面结构提取固定的内容。一般类型和专题类型都可以解决数据搜集的问题，但在再次搜集时，由于没有对照资料，所以搜集的资料又被搜集了一遍。一些更新速度较慢的站点，很可能会产生大量的信息，从而导致电脑资源和网络带宽的损失。而增加式数据收集项目的产生，则为以上问题提供了有效的解决方案。这个递增收集器是按照站点的更新来收集的，而不是已经收集到的。话题型信息收集指的是通过类别标签来收集指定的网页，然后从中提取出主题信息。通常情况下，还可以对这些信息进行更深入的数据挖掘，从而达到数据价值的目的。

二、研究意义

收集程序可以被配置在单个的服务器上，完成单个的工作，但是这种方式不仅不稳定，而且收集的速度和范围都会受到影响。同时，该软件还能在单个伺服器上进行多个工作。这种方法能极大的增加收集的范围，但收集的速度却慢了很多。通常来说，收集系统都是采取分散的方式。在多个伺服器上配置收集程式，完成多个工作收集。这不仅能够增加收集程序的稳定性，可用性，还能够增加收集的范围和速度。通常情况下，分布式数据收集计划有两种：主从式和点对式。在该体系结构中，主要由主机端进行数据的收集和数据的分配；NodeServer主要是用于收集URL中指向的信息。通常，主机会使用记忆型的资料库（例如：Redis），来进行URL资讯的储存与分布。这样的分散结构，固然能够提高收集的效率，可是也有一个缺点，那就是如果主控端发生了错误，或是主控端的程序发生了BUG，那么就会让整个系统瘫痪。在此基础上，提出了一种可行的灾难恢复计划。对等分配架构使用了某种智慧，或是人为的规则，在每个服务器上，收集程序会对这个网站或这个URL链接的内容进行判定，如果是就进行收集，否则就会被跳过。
现在是一个资讯大爆发的年代，所需资料分散在网路上，仅靠搜寻引擎收集资料并不是件容易的事情。其次，因特网上各有各的站点，各有各的发展语言，仅靠一种收集工具很难实现，因此，有必要研究一种智能的收集技术。本文的目的是，充分地运用Python开发的灵活性和多样化技术，来构建一种智能信息分析系统，它能够为非计算机专业人员开展信息分析工作提供便利，进而从网络信息的海洋中获得所需要的行业资讯。

三、主要使用技术

环境需要
1.运行环境：python3.7/python3.8。
2.IDE环境：pycharm+mysql5.7;
3.数据库工具：Navicat11
4.硬件环境：windows 7/8/10 1G内存以上；或者 Mac OS；
5.数据库：MySql 5.7版本；
技术栈
后端：python+django
前端：vue+CSS+JavaScript+jQuery+elementui

使用说明
使用Navicat或者其它工具，在mysql中创建对应名称的数据库，并导入项目的sql文件；
使用PyCharm 导入项目，修改配置，运行项目；
将项目中config.ini配置文件中的数据库配置改为自己的配置，然后运行；
运行成功后，在浏览器中输入：http://localhost:8080/项目名

四、研究内容

五、核心代码

# coding:utf-8
__author__ = "ila"

from django.http import JsonResponse

from .users_model import users
from util.codes import *
from util.auth import Auth
import util.message as mes


def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)


def users_info(request, id_):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}

        data = users.getbyid(users, users, int(id_))
        if len(data) > 0:
            msg['data'] = data[0]
        # 浏览点击次数
        try:
            __browseClick__ = users.__browseClick__
        except:
            __browseClick__ = None

        if __browseClick__ and "clicknum" in users.getallcolumn(users, users):
            click_dict = {"id": int(id_), "clicknum": str(int(data[0].get("clicknum", 0)) + 1)}
            ret = users.updatebyparams(users, users, click_dict)
            if ret != None:
                msg['code'] = crud_error_code
                msg['msg'] = ret
        return JsonResponse(msg)


def users_save(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
        req_dict = request.session.get("req_dict")
        req_dict['role'] = '管理员'
        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_update(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
        req_dict = request.session.get("req_dict")
        if req_dict.get("mima") and req_dict.get("password"):
            if "mima" not in users.getallcolumn(users,users):
                del req_dict["mima"]
            if "password" not in users.getallcolumn(users,users):
                del req_dict["password"]
        try:
            del req_dict["clicknum"]
        except:
            pass
        error = users.updatebyparams(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_delete(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code, "data": {}}
        req_dict = request.session.get("req_dict")

        error = users.deletes(users,
            users,
            req_dict.get("ids")
        )
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163

六、文章目录

1系统概述 1
1.1 研究背景 1
1.2研究目的 1
1.3系统设计思想 1
2相关技术 3
2.1 MYSQL数据库 3
2.2 B/S结构 3
2.3 Djangot框架简介 4
2.4 VUE框架 4
3系统分析 5
3.1可行性分析 5
3.1.1技术可行性 5
3.1.2经济可行性 5
3.1.3操作可行性 5
3.2系统性能分析 6
3.2.1 系统安全性 6
3.2.2 数据完整性 6
3.3系统界面分析 6
3.4系统流程和逻辑 8
4系统概要设计 9
4.1概述 9
4.2系统结构 10
4.3.数据库设计 11
4.3.1数据库实体 11
4.3.2数据库设计表 13
5系统详细实现 17
5.1 管理员模块的实现 17
5.2用户模块的实现 19
6系统测试 21
6.1概念和意义 21
6.2特性 22
6.3重要性 22
6.4测试方法 23
6.5 功能测试 23
6.6可用性测试 24
6.7性能测试 24
6.8测试分析 24
6.9测试结果分析 25
结论 25
致谢语 26
参考文献 26