python大数据爬虫分析基于django的影片数据爬取与数据分析_基于python的影片数据爬取与数据分析论文

前言

  
这个系统的设计主要包括系统页面的设计和方便用户互动的后端数据库，而前端软件的开发则需要良好的数据处理能力、友好的界面和易用的功能。
数据要被工作人员通过界面操作传输至数据库中。通过研究，以MySQL为后端数据库，以PYTHON为前端技术，以IDEA为开发平台，采用DJANGO架构，建立一个提供个人中心、用户管理、书籍分类管理、热门书籍管理、公告栏管理、小说信息管理、在线反馈、系统管理等必要功能的、稳定的个性化书籍推荐系统。
关键词：书籍；DJANGO框架；MySQL数据库

一、项目介绍

  
在功能方面，不需要用户在指定场所进行影片数据爬取与数据分析，要保证可以在很大程度上满足用户解决影片数据爬取与数据分析问题，满足用户需求，改善人们生活。

3.3.1系统功能概述

管理页面：管理员和用户都可以登录。通过输入账号和密码后，校验无误后方可进入对应的主界面，管理员可对用户使用的权限管理，以及对网站信息进行管理[9]。

3.3.2系统用例分析

本课题要求实现一套基于python的影片数据爬取与数据分析，系统主要包括管理员和用户两大功能模块。
（1）管理员用例图如下所示：

图3-1管理员用例图
（2）用户用例图如下所示：

图3-2用户用例图

二、开发环境

开发语言：Python
python框架：django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js

————————————————

三、功能介绍

  影片数据爬取与数据分析分为两个部分，即管理员和用户。该系统是根据用户的实际需求开发的，贴近生活。从管理员处获得的指定账号和密码可用于进入系统和使用相关的系统应用程序。管理员拥有最大的权限，其次是用户。管理员一般负责整个系统的运行维护和总体协调。
系统结构如图4-1所示。

图4-1系统结构图

四、核心代码

部分代码：

def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            return JsonResponse(msg)

        req_dict['id'] = datas[0].get('id')
        return Auth.authenticate(Auth, users, req_dict)


def users_register(request):
    if request.method in ["POST", "GET"]:
        msg = {'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")

        error = users.createbyreq(users, users, req_dict)
        if error != None:
            msg['code'] = crud_error_code
            msg['msg'] = error
        return JsonResponse(msg)


def users_session(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code,"msg":mes.normal_code, "data": {}}

        req_dict = {"id": request.session.get('params').get("id")}
        msg['data'] = users.getbyparams(users, users, req_dict)[0]

        return JsonResponse(msg)


def users_logout(request):
    if request.method in ["POST", "GET"]:
        msg = {
            "msg": "退出成功",
            "code": 0
        }

        return JsonResponse(msg)


def users_page(request):
    '''
    '''
    if request.method in ["POST", "GET"]:
        msg = {"code": normal_code, "msg": mes.normal_code,
               "data": {"currPage": 1, "totalPage": 1, "total": 1, "pageSize": 10, "list": []}}
        req_dict = request.session.get("req_dict")
        tablename = request.session.get("tablename")
        try:
            __hasMessage__ = users.__hasMessage__
        except:
            __hasMessage__ = None
        if __hasMessage__ and __hasMessage__ != "否":

            if tablename != "users":
                req_dict["userid"] = request.session.get("params").get("id")
        if tablename == "users":
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = users.page(users, users, req_dict)
        else:
            msg['data']['list'], msg['data']['currPage'], msg['data']['totalPage'], msg['data']['total'], \
            msg['data']['pageSize'] = [],1,0,0,10

        return JsonResponse(msg)


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77

五、效果图

六、文章目录

目录
摘 要 1
Abstract 2
目录 1
1绪论 3
1.1 研究背景 3
1.1.1国内研究现状 3
1.1.2国外研究现状 3
1.2研究的目的和意义 4
1.2.1研究目的 4
1.2.2 研究意义 4
1.3 论文的内容和结构 4
2系统相关技术概述 5
2.1 Python语言 5
2.2 Django框架 5
2.3 MySQL数据库技术简介 6
2.4 B/S结构 7
3系统需求分析 8
3.1需求分析概述 8
3.2可行性分析 8
3.2.1技术可行性 8
3.2.2经济可行性 8
3.2.3运营可行性 9
3.2.4法律可行性 9
3.3系统功能需求分析 9
3.3.1系统功能概述 9
3.3.2系统用例分析 9
3.4系统其他需求分析 10
3.4.1性能要求 10
3.4.2安全要求 11
3.4.3作业环境要求 11
3.5系统流程分析 11
3.6本章小结 13
4 系统设计 14
4.1系统结构图 14
4.2数据库设计 14
4.2.1数据库设计原则 14
4.2.2数据库的概念设计 14
4.2.3数据库表设计 16
4.3本章小结 18
5系统的实现 19
5.1系统登录注册实现 19
5.2管理员模块实现 20
5.3用户模块实现 22
5.4本章小结 23
6系统测试 24
6.1系统测试的重要性 24
6.2性能测试 24
6.3系统登录测试 24
6.4电影测试 25
6.5系统简介测试 25
6.6本章小结 25
结 论 26
参考文献 27
致 谢 28