基于spark的音乐数据分析系统的设计与实现_基于spark的音乐数据分析系统的设计与实现的功能介绍

收藏关注不迷路

---

前言

本文主要对音乐数据，进行分析，系统技术主要使用，1.对原始数据集进行预处理；3.使用python语言编写Spark程序对HDFS中的数据进行处理分析，并把分析结果写入到MySQL数据库；4.利用Spark MLlib进行数据和关系预测；5.利用IntelliJ IDEA搭建动态Web应用；6.利用plotly进行前端可视化分析。

关键词：音乐数据分析；可视化分析；python语言

一、项目介绍

本文对网易云音乐平台的数据进行分析，分析年度音乐专辑销量TOP10 ；年度月排行榜榜首播放量；最受欢迎的音乐类型；音乐评论数TOP榜；用户性别比例。使用Hadoop提供HDFS的分布式存储[10]，利用Spark对HDFS中的数据进行处理，并对结果进行可视化分析。
音乐数据分析系统的设计开发工作：

1. 网易云音乐数据爬虫。在本课题中，需要爬取的数据主要包括音乐数据、用户数据、评论数据等等，每一种类型的数据对应一个爬取接口。使用Python进行数据清洗。这三种类型的数据分别应用于不同的功能中。
2. 将前面爬取到的数据作为数据源，上传到HDFS文件系统上。
3. 使用Scala语言编写Spark程序对数据进行分析处理。可以从多个角度对网易云音乐的现有数据进行有效的信息挖掘，并加以分析。
4. 恰当的数据可视化展示。当分析出数据结论之后，采用合适的方式去展示最终的结果数据。比如可以使用柱状图、折线图、词云图、饼状图等阐释数据的特点。

二、开发环境

开发语言：Python
python框架：django
软件版本：python3.7/python3.8
数据库：mysql 5.7或更高版本
数据库工具：Navicat11
开发软件：PyCharm/vs code
前端框架:vue.js

————————————————

三、功能介绍

整个音乐流量可视化系统，主要包含前台和后台，前台是可视化数据，呈现大屏幕效果，主要包含了音乐数据的分析，以及音乐播放量分析，音乐专辑分析，用户登录信息，后台包含登录注册功能，以及个人中心修改资料，音乐数据添加，对用户的删除和查看，音乐数据的预测分析，以及系统权限的设置，具体如下图所示。

图4-1音乐数据分析系统的分析

四、核心代码

部分代码：

def users_login(request):
    if request.method in ["POST", "GET"]:
        msg = {
   'code': normal_code, "msg": mes.normal_code}
        req_dict = request.session.get("req_dict")
        if req_dict.get('role')!=None:
            del req_dict['role']
        datas = users.getbyparams(users, users, req_dict)
        if not datas:
            msg['code'] = password_error_code
            msg['msg'] = mes.password_error_code
            
1
2
3
4
5
6
7
8
9
10
11
12