springboot基于Hadoop短视频流量数据分析与可视化-可视化大屏展示_流量回放可视化编排

收藏关注不迷路

---

一、项目介绍

该系统基于Hadoop平台，利用Java语言、MySQL数据库，结合目前流行的 B/S架构，将短视频流量数据分析与可视化管理的各个方面都集中到数据库中，以便于用户的需要。在确保系统稳定的前提下，能够实现多功能模块的设计和应用。该系统由管理员功能模块和用户模块组成。不同角色的准入制度是有严格区别的。各功能模块的设计也便于以后的系统升级和维护。该系统采用了软件组件化、精化体系结构、分离逻辑和数据等方法。

关键字：Java技术；短视频流量数据分析与可视化；Hadoop；B/S结构

二、开发环境

Hadoop后端+HTML前端+大数据屏——>Hadoop、HTML、大数据屏
————————————————

三、功能介绍

系统的目标是为管理员和用户搭建一个网上沟通平台，保证双方的安全，并使双方的利益最大化。

3.3.1管理员需求分析

管理员端的功能主要是开放给系统的管理人员使用，能够对用户的进行管理，包括对他们的账号管理、对用户管理、番剧信息管理、系统管理进行查看，修改和删除等，对系统整体运行情况进行了解。
管理员用例分析图，如图3-1所示。

图3-1管理员用例分析图

3.3.2用户需求分析

用户的功能主要是对个人账号和密码进行更新管理，对番剧信息和公告信息进行查询等。
用户用例分析图，如图3-2所示。

图3-2用户用例分析图

四、核心代码

部分代码：

# -*- coding: utf-8 -*-
import os
import importlib

services_abspath_arr = []
services_arr = []
services_dir_ = os.getcwd() + "\\hadoop"

# 遍历模块文件(绝对路径)加到services_abspath_arr数组


# 选择服务函数
def service_hadoop_select(str):
    for service_item in services_arr:
        if str.capitalize() == service_item.__class__.__name__:
            return service_item


def foreach_file(path_name):
    for root, dirs, files in os.walk(path_name):
        for f in files:
            services_abspath_arr.append(os.path.join(root, f))


# 读取模块
# f:文件路径
def loadModule(f):
    # 将f变成相对路径
    f = f.replace(services_dir_ + "\\", "").replace(".py", "").replace("\\", "/")
    # print(f)
    mod = importlib.import_module(
        "jobs."+f.replace("/", ".")
    )
    arr_1 = f.split("/")
    cs_service = getattr(mod, arr_1[len(arr_1) - 1].capitalize())
    # service的class形式
    service = cs_service()
    services_arr.append(service)


foreach_file(services_dir_)

for f in services_abspath_arr:
    if f.find(".pyc") == -1 and f.find("__init__") == -1:
        # print(f)
        loadModule(f)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

五、效果图

六、文章目录

目　　录
目　　录 I
1绪 论 1
1.1开发背景 1
1.2开发目的与意义 1
1.2.1开发目的 1
1.2.2开发意义 2
1.3本文研究内容 2
2开发技术 3
2.1 Java介绍 3
2.2 Hadoop介绍 3
2.3 Scrapy介绍 4
2.4 MySql简介 4
2.5 SPRINGBOOT框架 4
2.6 B/S架构 5
2.7 Tomcat简介 5
3系统分析 7
3.1系统可行性分析 7
3.1.1技术可行性分析 7
3.1.2经济可行性分析 7
3.1.3法律可行性分析 7
3.2系统性能分析 7
3.3功能需求分析 8
3.3.1管理员需求分析 8
3.3.2用户需求分析 8
3.4系统流程分析 9
4系统设计 10
4.1功能模块设计 10
4.2数据库设计 10
4.2.1数据库设计原则 10
4.2.2系统E-R图 10
4.2.3数据库表设计 12
5系统实现 15
5.1 系统功能模块 15
5.2 管理员功能模块实现 17
6系统测试 21
6.1系统测试内容 21
6.1.1 登录测试 21
6.1.2 角色测试 21
6.1.3　性能测试 22
6.2测试用例执行结果 22
结 论 23
参考文献 24