python基于Spark的共享单车数据存储系统的设计与实现flask-django-php-nodejs_python spark

近些年来，随着科技的飞速发展，互联网的普及逐渐延伸到各行各业中，给人们生活带来了十分的便利，共享单车数据存储系统利用计算机网络实现信息化管理，使整个共享单车数据存储管理的发展和服务水平有显著提升。
本文拟采用python技术和django搭建系统框架，后台使用MySQL数据库进行信息管理，设计开发的共享单车数据存储系统。通过调研和分析，系统拥有管理员和用户两个角色，主要具备个人中心、用户管理、共享单车管理、系统管理等功能模块。将纸质管理有效实现为在线管理，极大提高工作效率。
语言：Python
框架：django/flask
软件版本：python3.7.7
数据库：mysql 
数据库工具：Navicat
前端框架:vue.js
通过比较两个不同因素的框架，可以看出Flask和Django不能被标记为单一功能中的最佳框架。当Django在快速发展的大型项目中看起来更好并且提供更多功能时，Flask似乎更容易上手。这两个框架对于开发Web应用程序都非常有用，应根据当前的需求和项目的规模来选择它们。
最新python的web框架django/flask都可以开发.基于B/S模式,前端技术:nodejs+vue+Elementui+html+css
,前后端分离就是将一个单体应用拆分成两个独立的应用：前端应用和后端应用，以JSON格式进行数据交互.充分保证了系统代码的良好可读性、实用性、易扩展性、通用性、便于后期维护等特点
目 录
第一章 概述 2
1.1课题研究背景 2
1.2 课题研究意义 2
1.3国内外发展现状 3
1.4研究内容 3
1.5本文的结构 3
第二章 开发工具及技术介绍 4
2.1 python编程语言 4
2.3 django 框架 5
2.4 MySQL数据库 5
2.5 B/S架构 5
第三章 系统分析 1
3.1功能需求分析 1
3.2系统可行性分析 1
3.2.1技术可行性 1
3.2.2经济可行性 1
3.2.3社会可行性 2
3.3系统用例分析 2
3.4流程图设计 3
3.4.1登录流程图 3
3.4.2添加新用户流程图 4
第四章 系统概要设计 5
4.1系统设计原理 5
4.2功能模块设计 5
4.3数据库设计 5
4.3.1数据库设计原则 5
4.3.2数据库E-R图设计 5
4.3.3数据库表结构设计 7
第五章 系统功能实现 10
5.1系统登录注册实现 10
5.2管理员模块实现 10
5.3用户模块实现 13
第六章 系统测试 14
6.1软件测试原则 14
6.2软件测试过程 15
6.3测试用例 16
6.4本章小结 16
结 论 17
致 谢 18
参考文献 19

第一章 概述
1.1课题研究背景
近年来，由于计算机技术和互联网技术的飞速发展，所有企事业单位内部都是数字化、信息化、无纸化的发展趋势，随着这种趋势的发展，各种决策系统、辅助系统也应运而生，其中，共享单车数据存储系统就是其中的重要组成部分。
共享单车数据存储管理工作向来都是社会上不可或缺的一部分，然而多年以来人们大都习惯使用传统方法，即人工来完成共享单车数据存储的管理，但是这种方法存在着工作效率低以及保密性差的问题，同时还会生成大量的文本和数据，在检索数据时极大不便。随着科技发展进步，我们已进入了信息化社会，仅仅依靠传统的表格管理方式已不能适应时代的要求。因此使用计算机来进行接手传统方式的共享单车数据存储管理已经势在必行。
而通过计算机技术来实现的共享单车数据存储系统拥有对信息的快速检索、保存了大量的共享单车数据存储管理信息、信息系统保存的稳定性高和维护成本低等优点，对共享单车数据存储管理的工作效率也能提高。如今，传统的人工管理方法、文件和图表打印等信息传输方法已经不能满足当下的发展需求，计算机科学与互联网技术的蓬勃发展，颠覆了人们的生活以及思维方式。共享单车数据存储系统的出现，利用信息技术将共享单车数据存储管理融于办公平台中，成为提高管理水平的有利手段，将会成为未来共享单车数据存储管理的新模式。
1.2 课题研究意义
在当下，办公自动化以一种迅速并不可阻挡的速度在慢慢遍布到社会的每一个角落中，而共享单车数据存储系统正是办公自动化的一个小小分支，解决了传统共享单车数据存储管理中繁杂且重复的操作，提高了工作的效率。
共享单车数据存储系统对于管理人员进行管理来说是非常重要的，站在管理者的角度也一样。共享单车数据存储系统应该做到让管理人员进行快捷的信息查询以及对信息的处理功能。然而，大多数还没有使用电子化管理来进行共享单车数据存储工作的意识，还是使用传统的人工管理方法。如今，伴随着计算机科学的不断发展，互联网科技的日渐成熟，计算机所带来的种种优势已经逐渐为人们所认识，它已经应用在社会中的各个领域中并且越来越重要，利用计算机将共享单车数据存储信息进行电子化、系统化的管理能将共享单车数据存储管理的效率提上一个台阶。所以，开发一套共享单车数据存储系统，将信息进行电子化、系统化的管理，代替了传统的人工管理方式，提升了工作效率。
无纸化办公，节省了时间，减少了纸张的浪费同时节约了成本。
加快了信息传输的过程，使共享单车数据存储管理更规范和科学。
利用计算机处理速度快、信息存储量大的特点，将管理工作信息化，可以积累和管理大量的数据。
对数据进行有效并且集中的管理，实现了用户信息的共享，使管理工作可以从传统的人工管理中解放出来，提升了工作的效率，使其有更多的时间去完成更多的工作，来提高自身的业务素质。
1.3国内外发展现状
相比于国内，国外的线上管理系统建设比较早，在上世纪就已经很先进，但受七十年代的经济危机影响，导致部分国家发展缓慢，但也有些发达国家走群众路线，全面发展网络技术。
在国内，线上管理系统已经特别完善，它基于计算机技术，让系统具有信息化、科学化、自动化等特性。在计算机的辅助下，国内该类系统可使管理者提高信息的复用率，对数据的处理、备份等方面也有了显著的效率提升，这种有效的工作可使管理者能更快的做好决定，也实现了“无纸化”的信息管理方式。由于其功能特别完善，也导致系统比较庞大，所以在了解该类系统的功能、操作后，决定开发一款共享单车数据存储系统，它的功能小，但是操作简单、快速、准确的特点，也体现了设计它的意义。
1.4研究内容
（1）调研：通过网络、图书馆等渠道调查该课题的参考资料。
（2）系统需求分析：对参考资料分类整理，设想需求与功能，再研究实现功能所需的开发工具、技术、数据库等。
（3）系统概要设计：设计功能模块、流程、数据库模型、表与字段间的关系等。
（4）系统实现：对系统用户以文字加截图的形式进行精细化分解。
（5）系统测试：测试的作用和好处，测试的具体操作步骤，分析需求与测试结果是否一致。
1.5本文的结构
本论文分为六个章节。
第一章，绪论，其包含课题背景及意义，现国内外的发展现状，本课题要研究的内容，所使用开发工具的描述等信息。
第二章，主要介绍了系统的开发技术。
第三章，先讲述功能需求分析，再讲述系统可行性分析和流程图的设计。
第四章，是系统设计原理，功能模块设计和数据库设计。
第五章，详细讲述每个界面的正确操作步骤。
第六章，该章讲述了测试的目的以及测试过程及用例。
最后对论文进行总结，包括致谢和参考文献等内容。
2.2 Spark简介
Spark最初由加州大学伯克利分校的AMP(算法、机器和人)实验室于2009年开发，是一个基于内存计算的大数据并行计算框架，可用于构建大型、低延迟的数据分析应用程序。Spark最初是一个研究项目，它的许多核心思想来自学术研究论文。2013年，Spark加入Apache孵化器项目，开始快速发展。目前已成为Apache软件基金会分布式计算系统(Hadoop、Spark和Storm)三大最重要的开源项目之一。
Spark是大数据计算领域的后起之秀，在2014年打破了Hadoop的排序基准(Sort Benchmark)记录，使用206个节点在23分钟内对100tb的数据进行排序。Hadoop使用2000个节点在72分钟内对相同的数据进行排序。换句话说，Spark只使用十分之一的计算资源，速度是Hadoop的三倍。这一新的记录使Spark成为一个受欢迎的平台，并表明Spark可以作为一个更快、更高效的大数据计算平台。
2.4 MySQL数据库
MySQL是Oracle公司旗下的一个开源的关系型数据库管理系统(Relational Database Management System, RDBMS)}44} o MySQL支持使用多线程，充分利用了CPU的计算资源，可以选择InnoDB, MyISAM和MEMORY等作为存储引擎，提供了丰富的数据库管理工具。在索引功能的加持下，其具有非常高的查询效率，并支持主从、多节点集群等高可用部署模式。MySQL凭借其低廉的成本、可靠的数据库服务和出色的性能，目前己经成为绝大多数企业在进行项目开发时的首选关系型数据库。MySQL的体系结构如图2.1所示，具体可分为网络连接层、服务层、存储引擎层和系统文件层，分别完成建立连接、SQL解析与执行、数据存储与提取和数据交互等功能。
2.5 B/S架构
B/S结构就是指系统客户端与服务器分离，客户端通过浏览器访问服务端进行操作。
B/S结构目前广泛应用于绝大部分系统搭建中，这种结构摒弃C/S结构客户端服务端不分离的缺点，具有更多的优势：
（1）跨平台性：B/S的标准由标准化组织确立，适用于绝大多数的系统搭建，通用于应用之间。
（2）低维护成本：客户端和服务器端分离，减轻了两端的压力，尤其是客户端，对客户端设备，硬件、软件要求都比较低，并且系统需要升级或维护时，只需要在服务器端升级或维护就可以，使相应的费用减少。
 第三章 系统分析
3.1功能需求分析
需求分析的首要任务是要分析用户的需求，知道用户存在的一些情况，并且要明确用户的使用状况，然后设计规划解决的问题。其中在使用定性的分析以及定量的分析，从这两个方面获取用户的需求。一方面定性的分析获得的应该是用户的基本需求，能够发现现在人们的习惯要求。所以定性的需求主要是为了多与用户交流，从而更为深刻的了解一些存在的需求问题；定量的分析则是发现一些潜在的用户，并且获得不一样的反馈内容。所以定量的需求要让用户来阐述一些情况，一定让使用者清晰的进行客观的描述，这样才能够比较全面的获得用户的需求所在。
其中获得用户需求以后，就要可以将用户需求设计为系统的功能模块。在能及时的分析和发现有关需求的情况下，需要系统同时的跟进需求设计。在共享单车数据存储管理过程中还需要创建需求工作的数据分析，以便于后面的分析做总结。写入一个需求的报告内容，其中需要包含完整的描述需求、以及功能需求、模型等后续开发过程中还需要用到的部分资料。
需求的分析中用户需求就是比较的重要，而且可以通过各种的路径，以及各用户对于系统的功能需求，你需要对这些内容做出整理以及分类，然后分析这些需求的现实情况下的可能原因，还需要有认真的分析过程，结合现实的情况下最终做出一系列的需求资料。在有关用户的期望分析中能够明确一些可能实现的情况，共享单车数据存储系统功能是许多个可以测试的功能相结合的，正是由于这些功能可以使得用户能够更加积极的提供出需求，让系统功能可以变得更加的完善。这样就可以保证所有设计的功能模块都是可以用到的，而且也是可测试的，对于后续系统的开发能够有比较关键的作用，也能快速完成用户所提供的需求。
3.2系统可行性分析
3.2.1技术可行性
该系统使用python技术开发，MySQL数据库同django框架联合开发并实现。对于以上描述的技术，在当代都是较为成熟的技术和平台，虽然它们都有自已的体系，但在程序员的眼里，它们的配合度是很高的，网上的相关博客中每个创建项目的帖子，它们都会出现，数据库负责管理数据，开发工具负责管理项目，技术负责代码的框架，既相互独立，又相互依赖。以上描述的工具、技术都已转化为自身的技能，所以从技术角色考虑是可行的，工作人员对于技术的关注度并不高，只要程序可用即可。
3.2.2经济可行性
经济可行性，可分为两种，支出和收入，该系统属于研究型毕业设计，所以收入部分暂不考虑。支出可分为，设备、场地、开发环境、人力、时间等一切需考虑的因素，所有信息都是影响形成系统的一部分。设备：只需一台笔记本电脑，配套的输入设备；场地：暂定为图书馆与校内的自习室；开发环境：良好；人力：自身、指导老师、同学；时间：从选题到毕业为止，大约8个月。从以上描述可知，大部分条件已经满足，所以该系统不会存在经济方面的问题，所以是可行的。
3.2.3社会可行性
社会可行性，广义而讲可涉及到道德方面、法律方面、社会方面，每个方面都会影响系统的形成。本系统的是独立且没有任何传播性质的信息，更涉及不到道德层面，法律层面；本系统也没有触发法律，没有赌博、黄色等类型信息，同时也是遵从国家法律，不会显示任何触发法律层面的信息；社会方面，该系统是为方便用户提供更好的服务，是轻量级的共享单车数据存储系统，会为人们带来快速并有效查询的功能，也是具有贡献意义的。总体而言，该系统也是具有社会可行性的。
3.3系统用例分析
共享单车数据存储系统综合网络空间开发设计要求。目的是将传统管理方式转换为在网上管理，完成共享单车数据存储信息管理的方便快捷、安全性高、交易规范做了保障，目标明确。共享单车数据存储系统可以将功能划分为管理员功能和用户功能。
（1）、管理员关键功能包含系统首页、个人中心、用户管理、共享单车管理、系统管理等等进行管理。
4.3.3数据库表结构设计
该系统采用的数据库是MySQL，根据该系统的数据存储特点进行数据库关系表的设计。下面是该系统中关键部分关系表的详细信息。
表4-1：用户表
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
username varchar 100 用户名
password varchar 100 密码
role varchar 100 角色 管理员
addtime timestamp 新增时间 CURRENT_TIMESTAMP

表4-2：token表
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
userid bigint 用户id
username varchar 100 用户名
tablename varchar 100 表名
role varchar 100 角色
token varchar 200 密码
addtime timestamp 新增时间 CURRENT_TIMESTAMP
expiratedtime timestamp 过期时间 CURRENT_TIMESTAMP

表4-3：关于我们
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
addtime timestamp 创建时间 CURRENT_TIMESTAMP
title varchar 200 标题
subtitle varchar 200 副标题
content longtext 4294967295 内容
picture1 longtext 4294967295 图片1
picture2 longtext 4294967295 图片2
picture3 longtext 4294967295 图片3

表4-4：共享单车
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
addtime timestamp 创建时间 CURRENT_TIMESTAMP
bid varchar 200 bid
account varchar 200 account
pp varchar 200 pp
month varchar 200 month
orderid varchar 200 orderid
area varchar 200 area
price varchar 200 price
ridetime int ridetime
starttime varchar 200 starttime
userid varchar 200 userid
week varchar 200 week

表4-5：配置文件
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
name varchar 100 配置参数名称
value varchar 100 配置参数值

表4-6：用户
字段名称 类型 长度 字段说明 主键 默认值
id bigint 主键 主键
addtime timestamp 创建时间 CURRENT_TIMESTAMP
yonghuzhanghao varchar 200 用户账号
mima varchar 200 密码
yonghuxingming varchar 200 用户姓名
xingbie varchar 200 性别
yonghudianhua varchar 200 用户电话
touxiang longtext 4294967295 头像

第五章 系统功能实现
5.1系统登录注册实现
系统登录，在登录页面选择需要登录的角色，再正确输入用户名和密码后，点击登录进入操作系统进行操作；
第六章 系统测试
系统的测试是必须的，需要知道的是这个阶段不是单独的，而是在全部的时间进行。这么做可以及时发现问题，还能找到产生矛盾的地方，并且可以尝试修改，这样就能完善系统。对于被测试的系统，都可以找到一些问题，而且还可以找到对应的位置在哪。其目的是对于整体的测试，发现需求中存在的矛盾，就可以做出修改了。测试的过程是对应于整体，有对软件的测试，发现需求的符合度，接下来，就是对数据的检测，以及对硬件的检测。
在软件测试规划中，必须了解测试流程，包括功能概述，测试周期，测试方法，测试范围，测试配置，测试技巧，测试交流，风险分析等。对于一些开发的人员，是可以知道测试方法，找到测试过程的一些的问题，然后可以应对这些问题。
6.1软件测试原则
系统的项目开始启动，系统测试也就是正式开始。软件的是有很多特殊性质，其一些测试也是整体的时间，不是一个单独的过程，因为有可能在所以时间段里，可以有不同的问题。从需求分析、系统设计的过程中，就可以进行系统的测试，制定相应的测试内容和设计文档，并且在整个开发过程中，都要进行系统的审核和确认，只有这样，才能更快的发现错误，从而提升系统的质量。为了更早地进行检测，让测试人员可以早知道测试难度，还有进行工作的准备，提前了解关于问题的风险，便于能够提高测试的效率，而且还能保证开发质量，还能够避免风险存在于测试里的，可以有更加完善的方案。
在测试过程中有一些问题，还有一些不足能被发现，这样测试可以使软件中有比较少的问题。有些人觉得只要能够通过软件测试的系统，就不会再存在任何问题，便可以比较放心的使用。这种把软件测试夸大的思想是违反原则的。总的来说即使软件测试能够发现任何问题，也不足以证明软件当中就没有任何的问题，系统就是完全正确的。软件测试必须很快地到软件开发过程中，这样就可以很快的地发现软件缺陷，并且越快发现软件问题，软件的修复成本就会越小。可以让测试人员加入需求的开发过程，以确保需求的可以测试的性质、正确性等，便可以更加有效地节省开发带来的成本。在有关于测试的环节当中也会尽早的找到问题，要是开发人员在某个模块发现了问题，那么在这模块中或许会存在不止一个问题。现在软件都比较复杂，而且测试也有难度，几乎不能有测试可以是完全。
测试是在一定的顺序，每个不同的阶段能够由出现的问题，可以了解到它的风险，这样也可以加强测试，从而可以保证软件使用时的质量。测试是需要比较早开始的，一方面就是保证软件的质量，有效的降低风险以及成本。测试的人员一般在分析需求时候就已经开始测试准备了，使得系统的不足在需求或者设计阶段就可以被发现出，就这点来说发现越早，能够修复的成本就越小。测试的设计可以确定测试的有效性以及效率问题，测试的工具只是提升了测试的效率，而非测试本身。在设计一个测试案例时，是还能改善可靠性，可以用更有效的方法。
6.2软件测试过程
软件测试中每当用户提出新的功能需求时，测试人员需要与开发人员一起做测试，这样测试人员就会对本次测试有个比较清晰的认识，具体要完成什么，都有什么功能等。而且当集成测试在完成后，开发的模块就会被联接在一起，从而形成一个完整的程序。每个各模块间的接口存在的许多缺陷都被消除，就可以进入了确认测试的阶段。确认测试是按照软件的需求规格，对软件进行评估是确保它否满足需求规格，然后决定最后的软件是否正常。
在测试规范后，就可以进行测试用例的编写，主要根据功能模块而展开，例如界面包括哪些操作，其中的操作是否可以正常进行，然后根据相关功能来设计，可以根据不同的情况来设计，对于一些测试过程中出现的问题等，以便查找测试任务的相关情况。
（1）单元测试
这种测试是一种用代码的编写，然后完成的测试方法，在整个检测流程中，是一个非常关键的步骤。在一项有关的程序中，可以进行测试的代码，这种的步骤和实现功能的运行过程是一样的，更加能够突出实现的时候，有关于一些数据的正确还有难易的问题。而且单元测试都由开发人员自己来实现。通常都是开发人员有义务编写相关的功能模块代码，由于对于这些问题的出现，会比别人更加的清楚。有目的单元测试，就是能够出现相应地方代码的执行行为与我们预期的具有一样的效果。一般是由开发人员查看相关代码来查找出问题，而且同样是不同的开发人员相互查看对方的代码，这样才能发现更多的问题。在使用工具扫描程序时，可以根据程序的一些错误的特征，是能够发现而且记录代码中的错误原因。还有就是可以使用工具能够自动生成测试用例，而且也能执行相关程序的测试，这种方式也是由于发现一些行为上的特征，并且报告错误的原因，这种测试的方法只能够发现一些明显的错误的问题，对一些不明显的错误就不能测试出原因所在，就比如一直简单的加法函数，其中的错误是相对比较简单的，但是以上的测试方法仍不能发现，是由于这种测试工具不可能自动的理解代码的功能。
（2）系统测试
所谓系统测试，就是把被确定的软件系统，包括电脑的硬件和网络，都是一个整体，它可以完成整个系统的检测和验证，系统试验是对整个软件系统进行的一次试验，其目的在于检测该系统能否达到要求，发现一些和需求规定不一样或者有歧义的地方，从而能够提出更加有效的方案。这里要有出现的任何问题，为了能够找到出现问题的位置，就是需要有调试的过程，然后进一步的改正。
这种测试也能够发现和规定不一样的时候，或者是出现的一些矛盾。都是需要提前有关于规定的需求做出比较，做出能够在实际的应用里，可以运行的一些对应的测试过程的用例。
（3）集成测试
集成测试是在单元测试后面开始的，将确定测试单元之间可以相互协调的运行。由于在很大的情况中，需要的系统不是有单独的几个或者一个人来完成，所以在前面的测试过程是，通过负责独立部分的开发者，同时也要负责这里的功能测试。但是如果要是把所以的测试部分都整合在一起，就可以发生一些问题。所以这里的测试是能够说明，不同的负责者的模块可以完全的正常执行，通常在执行集成测试之前，是必须先执行单元测试。
6.3测试用例
部分系统测试用例如表6-1所示。

表 6-1 测试用例表
测试功能、流程 预期结果 实际结果 结论
测试管理登录。管理员在登陆页面输入对应信息可以进入主页面 登陆成功，
之后跳转页面 登陆成功，
成功跳转页面 测试成功
6.4本章小结
一开始系统的测试是可以不用考虑整个的程序,只是考虑它的某个正常的部分，而且也可以不用看到其正常的运行的功能，暂时先不用了解具体的结构是什么样。只是用软件就能确定的测试，能够判断出测试的精确程度。这个软件的测试，其实是用一个软件的内部构造来进行的。同时经过一些分析来测试的。同时也是由代码进行的软件测试，开发者可以通过检查代码或利用开发工具，来判定系统的质量。

结 论
本系统采用python 技术和django框架来搭建本系统的框架。系统从选题开始，共经历了搜集选题背景信息和选题目的意义及分析，通过对国内外的研究，需求分析的整理，数据库的模型和表的设计，具体代码的实现。
通过调研和分析，该系统的功能设计为系统首页、个人中心、用户管理、共享单车管理、系统管理等功能。
该系统从设计和实现，再到系统的测试，每个环节都一一经历学习，每个环节都顺利完成。其实，在配置系统的开发工具时，就已遇到各种问题，但在导师和同学的帮助下，都已顺利的解决。本系统还有很多功能都不够完善，希望日后技术和经验都更丰富的情况下，能完善系统的不足之处。

致 谢
时光荏苒，岁月如梭。大学美好的四年学涯生活即将结束，但仔细想想，这四年之间发生了很多故事。曾经与同学、老师、亲朋好友在大学里所有美好的事物都将成为回忆，心中浮满好多不舍。如果让我总结大学四年生活，我会说我成长了，这四年时光非常值得!感谢所有相遇的老师、朋友们!
首先，我要感谢我的指导老师，谢谢您这段时间对我的论文修改，是您的耐心、细心辅助我顺利的完成了论文的编写，也感谢您的奉献精神，让我学习到了职业精神，希望我以后也能对我的工作同样的负责。
其次，我要感谢我的同学，四年里分享我的情感生活，让我们成为了志同道合的朋友，感谢在大学认识你们。
最后，我要感谢我的父母和亲戚，是你们这些年的耐心的陪伴，让我成为了现在能独立思想的个人，有思想、有理想的人。谢谢所有感谢曾经帮助过我的人，谢谢你们，谢谢！