django基于Scrapy的考研院校报名数据分析系统-可视化大屏展示

收藏关注不迷路

---

一、项目介绍

  
基于Scrapy的考研院校报名数据分析系统从实际出发结合自己的个人经验并调查周边人群而确定的实际需求。基于Scrapy的考研院校报名数据分析系统使用当前最主流的Python语言来进行开发，在数据库选择方面也是选择的免费且小巧的MYSQL做完存储介质。
本疫情数据可视化分析及预测系统采用Python语言来进行开发，用小巧灵活的MySQL数据库做完后台存储解释。本系统不仅主要实现了系统首页，个人中心，考研成绩管理，用户管理，系统管理等功能，通过这些功能基本可以满足人们对考研院校报名数据的查看和分析的需要。

关键词：考研报名数据；可视化；Python；MySQL

二、开发环境

开发语言：Python
python框架：django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js

————————————————

三、功能介绍

本疫情数据可视化分析及预测系统采用Python语言来进行开发，用小巧灵活的MySQL数据库做完后台存储解释。本系统主要分为管理员和用户两部分，管理员部分主要包括首页，个人中心，考研成绩管理，用户管理，系统管理，大屏分析等功能，管理员用例图如图3-1所示

图3-1管理员部分用例图
用户部分主要包括用户登录，个人中心，研成绩管理，大屏分析等功能，用户用例图如图3-2所示

图3-2用户部分用例图

本疫情数据可视化分析及预测系统采用Python语言来进行开发，用小巧灵活的MySQL数据库做完后台存储解释。本系统不仅主要实现了系统首页，个人中心，考研成绩管理，用户管理，系统管理等功能，通过这些功能基本可以满足人们对考研院校报名数据的查看和分析的需要。具体功能如下图所示

图4-1系统功能结构图

四、核心代码

部分代码：

def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77

五、效果图

六、文章目录

目录
摘 要 I
Abstract II
目录 III
第1章 系统概述 1
1.1 研究背景 1
1.2 研究意义 1
1.3研究内容 2
第2章 系统开发环境 4
2.1 Python语言介绍 4
2.2 Pycharm介绍 4
2.3 MySQL数据库介绍 4
2.4 网络爬虫概述 5
第3章 需求分析 6
3.1基于Scrapy的考研院校报名数据分析系统需求分析 6
3.2 可行性分析 7
3.2.1技术可行性 7
3.2.2时间可行性 7
3.2.3经济可行性 8
3.2.4操作可行性 8
第4章 系统概要设计 9
4.1系统结构 9
4.2 数据库设计 9
4.3 系统流程设计 11
4.3.1爬虫流程设计 11
4.3.2数据分析可视化流程 12
第5章 系统详细设计 13
5.1数据采集功能设计 14
5.2登陆模块的实现 14
5.3用户管理 15
5.4考研成绩管理 16
5.5数据大屏显示 17
第6章系统测试 19
6.1 基于Scrapy的考研院校报名数据分析系统的测试目的 19
6.2 基于Scrapy的考研院校报名数据分析系统的测试方法 19
6.3 基于Scrapy的考研院校报名数据分析系统测试用例 19
第7章 总结 20
致谢语 22
参考文献： 23