盐析白兔

这个屌丝很懒，什么也没留下！

热门标签

基于大数据的电商用户行为分析系统的设计与实现_基于大数据的电商平台用户行为分析系统设计与实现

作者：盐析白兔 | 2024-08-18 05:31:46

踩

基于大数据的电商平台用户行为分析系统设计与实现

基于大数据的电商用户行为分析系统的设计与实现

【摘要】本文设计了基于大数据的电商用户行为分析系统的设计与实现，本系统的核心功能是通过爬取实海量电商用户行为的原始数据，并通过大数据技术将原始数据存储、计算，并将分析的结果通过开发Web程序以可视化列表形式展示。

本论文的主要研究工作及取得的成果如下:

本文介绍了基于大数据的电商用户行为分析系统，该系统利用Flask作为后台框架，通过深入研究电商平台用户的行为特征、购买偏好以及用户满意度，为电商平台提供精准的运营策略和改进方案。在这个系统中，大数据分析技术被应用于收集、处理和分析海量用户数据，从而揭示用户行为背后的规律和趋势。

首先，系统通过Flask框架搭建了一个稳定高效的后台服务，用于接收和处理来自前端的请求，并与大数据处理引擎进行交互。其次，系统利用大数据分析技术对用户行为数据进行挖掘和分析，包括用户浏览记录、购买记录、评价信息等，从中提取用户的偏好和习惯。同时，系统还通过协同过滤等技术评估用户的满意度和情感倾向，为电商平台提供推荐功能。

通过对用户行为数据的深入分析，电商平台可以更好地理解用户群体，优化商品推荐算法，精准营销策略，提升用户体验和满意度。此外，系统还可以帮助电商平台发现潜在的问题和瓶颈，为运营决策提供数据支持和参考，实现业务的持续增长和发展。

综上所述，基于大数据的电商用户行为分析系统在电商领域具有重要的应用和推广意义，为电商平台提供了一种全新的数据驱动决策模式，帮助企业更好地把握市场动向，提升竞争力，实现可持续发展。

【关键词】大数据，协同过滤，Flask，电商用户行为

【Abstract】This paper designed the design and implementation of e-commerce user behavior analysis system based on big data. The core function of this system is to obtain massive raw data of e-commerce user behavior through crawling, store and calculate the original data through big data technology, and display the analysis results in the form of visual lists through the development of Web programs.

The main research work and achievements of this paper are as follows:

This paper introduces an e-commerce user behavior analysis system based on big data, which uses Flask as the background framework to provide accurate operation strategies and improvement plans for e-commerce platforms through in-depth research on the behavioral characteristics, purchase preferences and user satisfaction of e-commerce platform users. In this system, big data analysis technology is applied to collect, process and analyze massive user data to reveal the laws and trends behind user behavior.

Firstly, the system builds a stable and efficient background service through Flask framework, which is used to receive and process requests from the front end and interact with the big data processing engine. Secondly, the system uses big data analysis technology to mine and analyze user behavior data, including user browsing records, purchase records, evaluation information, etc., to extract user preferences and habits. At the same time, the system also assesses users' satisfaction and emotional tendencies through collaborative filtering and other technologies to provide recommendation functions for e-commerce platforms.

Through in-depth analysis of user behavior data, e-commerce platforms can better understand user groups, optimize product recommendation algorithms, precise marketing strategies, and enhance user experience and satisfaction. In addition, the system can also help e-commerce platforms find potential problems and bottlenecks, provide data support and reference for operational decisions, and achieve continuous business growth and development.

To sum up, the e-commerce user behavior analysis system based on big data has important application and promotion significance in the field of e-commerce, providing a new data-driven decision-making mode for the e-commerce platform, helping enterprises to better grasp the market trend, enhance competitiveness, and achieve sustainable development.

【Keywords】 Big data, collaborative filtering, Flask, e-commerce user behavior

目录

1 绪论

1.1研究背景与现状

随着计算机技术的发展以及互联网快速发展，电子商务也逐渐以智能化的形式走向我们的生活，慢慢的代替了传统的线下零售。电商现在的功能也越来越丰富，不仅具有用来购买商品等传统功能，还可以进行电商直播，买家互动等新型购买方式。

当面对互联网数以亿次的购物产生了大量用户购买电商的行为数据，我们需要使用这些数据进行大数据分析，计算，将用户对电商的销量进行可视化处理。这不仅有利于商家对销售行情的把握，还有利于买家进行各大品牌的筛选，因此设计并开发一套电商用户行为大数据分析系统是非常有必要的。

1.2论文主要研究工作

通过运用大数据平台技术，以电商用户行为行为数据作为切入点，基于各个品牌电商销售数据的特点，设计能够满足各个品牌的电商销售的大数据分析系统。作为一个电商用户行为数据分析系统，通过分析电商品牌、电商用户行为等信息，可以找出隐藏在数据背后的信息，为更好的优化产品性能，给商家提供大众喜欢的电商销售类别，给从事电商的人提供大众购买的趋势，提高用户服务的同时提高订单成交率。
本系统主要完成电商用户行为大数据分析系统。该系统将完成电商销售数据的爬取、电商销售数据的存储、电商销售数据的分析、电商销售数据的可视化展示模块等五大板块。

系统的核心是解决海量电商销售数据文件的存储与计算的任务。系统将采用Flask等后台技术及数据可视化技术，矩阵分解则能够从用户行为数据中挖掘出潜在的特征和模式，从而优化推荐效果。

2 技术总述

2.1 基于Scrapy的网络爬虫技术

Scrapy是目前较为成熟的爬虫技术框架，一般采用Python语言开发程序，Scrapy用途广泛，Scrapy具有较为成熟的优点，且开发起来较为简便，只需要按照脚手架搭建，即可快速编程。

对于目前市场上较为流行的爬虫技术有Selenium,Scrapy等，但由于考虑到Scrapy框架开发较为方便，本文使用Scrapy技术进行原始数据的采集。

在本设计中，由于需要使用到电商网站的电商用户行为的原始数据，因此需要开发相应的网络爬虫程序完成对电商用户行为原始数据的采集，下图2-1为爬取京东网站的电商用户行为数据的原理流程图。

图2-1 京东网站电商用户行为爬虫原理流程图

2.2 协同过滤技术

协同过滤（Collaborative Filtering）是一种常用的推荐系统技术，它基于用户历史行为数据或项目特征数据，发现用户或项目之间的相似性，并利用这种相似性进行个性化推荐。协同过滤主要分为两种类型：基于用户的协同过滤和基于物品的协同过滤。

基于用户的协同过滤（User-based Collaborative Filtering）：

基于用户的协同过滤是根据用户与其他用户的行为相似性来进行推荐的。

具体做法是首先计算用户之间的相似度，常用的相似度计算方法包括余弦相似度、皮尔逊相关系数等。

然后，根据相似用户的行为，预测当前用户可能感兴趣的项目或商品。

基于用户的协同过滤适用于用户数量较少、项目数量较多的场景。

基于物品的协同过滤（Item-based Collaborative Filtering）：

基于物品的协同过滤是根据项目之间的相似性来进行推荐的。

首先，计算项目之间的相似度，通常采用项目的内容特征或用户对项目的评分等信息。

然后，根据用户过去的行为或偏好，推荐与用户喜欢的项目相似的其他项目。

基于物品的协同过滤适用于项目数量较少、用户数量较多的场景，且在实际应用中往往具有更高的推荐准确度。

协同过滤技术的优点包括：

个性化：根据用户的历史行为和偏好，为每个用户提供个性化的推荐。

实时性：能够实时地根据用户最新的行为进行推荐，适应性强。

没有需求信息：不需要事先了解项目的特征或用户的需求，只需利用用户行为数据进行推荐。

然而，协同过滤也存在一些挑战：

冷启动问题：针对新用户或新项目的推荐效果较差。

稀疏性：用户行为数据往往是稀疏的，导致难以找到相似的用户或项目。

推荐解释性：无法提供推荐的解释或理由，降低了用户对推荐结果的信任度。

综合来看，协同过滤技术在推荐系统中具有广泛的应用，特别适用于电商、社交媒体、视频流媒体等领域，可以帮助用户发现新的兴趣点，提升用户体验和平台粘性。

2.3 Flask技术

Flask是一个开放源代码的Web应用框架，由Python写成。采用了Mgoods的框架模式，即模型M，视图V和模版T。它最初是被开发来用于管理劳伦斯网络IP 集团旗下的一些以新闻内容为主的网站的，即是CMS（内容管理系统）软件。并于2005年7月在BSD许可证下发布。这套框架是以比利时的吉普赛爵士吉他手Flask Reinhardt来命名的。2019年12月2日，Flask 3. 0发布。

Flask是高水准的Python编程语言驱动的一个开源模型．视图，控制器风格的Web应用程序框架，它起源于开源社区。使用这种架构，程序员可以方便、快捷地创建高品质、易维护、数据库驱动的应用程序。这也正是OpenStack的Horizon组件采用这种架构进行设计的主要原因。另外，在Dj ango框架中，还包含许多功能强大的第三方插件，使得Flask具有较强的可扩展性。Flask 项目源自一个在线新闻 Web 站点，于 2005 年以开源的形式被释放出来。其工作流程主要可划分为以下几步：

1.用manage .py runserver 启动Flask服务器时就载入了在同一目录下的settings .py。该文件包含了项目中的配置信息，如前面讲的URLConf等，其中最重要的配置就是ROOT_URLCONF，它告诉Flask哪个Python模块应该用作本站的URLConf，默认的是urls .py。

2.当访问url的时候，Flask会根据ROOT_URLCONF的设置来装载URLConf。

3.然后按顺序逐个匹配URLConf里的URLpatterns。如果找到则会调用相关联的视图函数，并把HttpRequest对象作为第一个参数(通常是request)。

4.最后该view函数负责返回一个HttpResponse对象。

2.4 本章小结

本章主要分析了系统开发过程中使用到的技术点和框架，通过研究这些技术的原理后，在本设计中加以应用，包括电商用户行为采集的爬虫技术，数据持久化存储技术，以及基于Flask框架的系统后台技术，通过预研上述技术点并加以应用从而开发出基于大数据的电商用户行为数据分析系统。

3 电商用户行为大数据分析系统实现

3.1 系统可行性分析

3.1.1可行性研究

通过对系统研究目标及内容的分析审察后，提出可行性方案，并对其进行论述。主要从技术可行性出发，再进一步分析经济可行性和操作可行性等方面。

3.1.2 经济可行性

开发系统所涉及到的资料，一般是在图书馆查阅，或是在网上进行查找收集。开发过程使用到的IDE一般也是开源的，因此，开发成本是几乎为零。但是开发出来的系统，还是具有高效率，低成本，较高质量的。所以，从经济可行性的角度，该系统符合标准。

3.1.3技术可行性

从技术可行性而言，由于本人一直是计算机相关专业，在大学期间也一直学习的就是计算机和大数据相关技术，如大数据,Python,MapReduce等，这次毕设更是对自己的专业知识的一次实际应用，使自己对知识的理解更加深厚，因此从技术可行性而言也是没有问题的。

3.1.4 运行可行性

由于本人在日常学习的过程中也会经常使用到本文设计中所设计的计算框架，这些框架的版本都是经过本人的经验和查阅资料后确定的，另外本文使用的是个人笔记本开发，不使用大量的服务器资源，因此运行可行性是满足的。

3.1.5 时间可行性

从时间上看,由于本人很早就确立了论文的题目，因此很早就开始了基础技术的研究，有了一定的基础理论支撑，然后开发程序的时间也是足够的，并且预留了一定的时间去修复整个系统的BUG，因此从时间上来说是完全可行的。

3.2 系统实现流程

通过前面的功能分析可以将基于大数据的电商用户行为数据分析系统的研究与实现的功能主要包括用户登录、数据大屏、数据分析等内容。后台管理是针对已登录的用户看到满意的电商销售数据分析而设计的。

（1）明确目的

在设计电商用户行为大数据分析平台初期需要了解如何获取电商用户行为原始数据是非常基础也是关键的一步。要了解大数据分析平台期望达到什么样的运营效果，从而在标签体系构建时对数据深度、广度及时效性方面作出规划，确保底层设计科学合理。

（2）数据采集

只有建立在客观真实的数据基础上，大数据计算分析的结果才有效。在采集数据时，需要考虑多种维度，比如不同厂商电商用户行为数据、不同品牌销量数据、不同价位的销量数据等等，还可以通过行业调研、用户访谈、用户信息填写及问卷、平台前台后台数据收集等方式获得。

（3）数据清洗

就对于各大电商用户行为网站或者APP平台采集到的数据而言，可能存在非目标数据、无效数据及虚假数据，因而需要过滤原始数据，去除一些无用的信息以及脏数据，便于后续的处理。

（4）特征工程

特征工程能够将原始数据转化为特征，是一些转化与结构化的工作。在这个步骤中，需要剔除数据中的异常值并将数据标准化。

（5）数据计算

　在这一步我们将得到的数据存储到大数据分析平台，通过开发MapReduce程序对原始数据进行计算，将不同维度的结果存储到Mysql中。

（6）数据展示

　分析结果可以通过大数据后台展示到前端界面，对于普通用户而言，只需要登录到该后台系统，就可以获取到电商用户行为数据分析后的计算结果，从而了解行业的电商用户行为情况，对于用户而言可以非常清晰的分析出各大品牌的电商用户行为情况。

3.3 系统平台架构

图3-1 电商用户行为大数据分析平台架构

在任何信息系统当中有价值的数据都是必不可少的重要部分，如何通过手上的资源获取得到有价值的数据便是开发系统。首先需要考虑的问题根据系统的功能设计数据获取和处理的流程以及其实现方法都已经基本上确定获取和处理流程。

由于大数据开发需要搭建集群环境，而集群环境一般都要求位于同一局域网内的多台机器，由于多台机器从购买和维护的成本的角度上而言都是比较昂贵的，这对于普通开发者而言是一笔不小的费用，因此本文拟使用Vmware虚拟机搭建大数据集群环境。

图 3-2数据处理

3.4 电商用户行为数据爬虫设计

这个项目我们的主要目的是爬取京东网的电商用户行为数据信息，包括电商用户行为岗位、企业名称和企业描述和规模等具体详情信息，下面描述本文爬虫工程主要设计步骤。

(1)创建项目

打开一个终端输入:scrapy startproject MyScrapy，Scrapy框架将会在指定目录下生成整个工程框架。系统生成的目录如下图3-2所示:

图3-3 电商用户行为爬虫框架目录结构

(2)修改setting文件

如下表3-1所示为修改后的setting文件主要内容，本设计主要修改三项内容，第一个是不遵循机器人协议，第二个是下载间隙，由于下面的程序要下载多个页面，所以需要给一个间隙（不给也可以，只是很容易被侦测到），第三个是请求头，添加一个User-Agent。

(3)确认要提取的数据，item项

item定义你要提取的内容（定义数据结构），比如我提取的内容为电商用户行为的不同品牌和企业电商用户行为详情，于是需要在items类中新建对应的实体类，并需要设置相应的字段取出对应的数据。Field方法实际上的做法是创建一个字典，给字典添加一个建，暂时不赋值，等待提取数据后再赋值。

开发爬虫程序，访问下载网页，使用Xpath语法提取内容。

表3-1 电商用户行为爬虫主要代码

import requestsfrom bs4 import BeautifulSoup

# 模拟登录获取Cookie

login_url = 'http://example.com/login'

login_data = {

'username': 'your_username',

'password': 'your_password'

}

session = requests.session()

response = session.post(login_url, data=login_data)

# 爬取用户行为数据

target_url = 'http://example.com/user_behavior'

response = session.get(target_url)

if response.status_code == 200:

soup = BeautifulSoup(response.text, 'html.parser')

# 根据页面结构解析数据

user_behaviors = []

behavior_elements = soup.find_all('div', class_='user-behavior')

for element in behavior_elements:

behavior = element.text

user_behaviors.append(behavior)

# 处理用户行为数据

for behavior in user_behaviors:

# 可以进一步处理数据，比如存储到数据库或文件中

print(behavior)else:

print('Failed to fetch data')

3.5 电商用户行为分析程序设计

用户购买频次分析：统计每个用户购买的次数，了解用户的购买活跃度。

用户购买金额分析：计算每个用户的购买总金额，分析用户的购买能力。

商品购买量分析：统计不同商品的购买数量，了解热销商品和滞销商品。

用户购买时间分析：分析用户在不同时间段的购买情况，例如一天中的哪个时段购买量最高。

数据可视化：利用数据可视化工具（如Matplotlib、Seaborn等）将分析结果可视化，以便更直观地呈现分析结论。

表3-2 电商用户行为分析程序

import pandas as pdimport matplotlib.pyplot as plt

# 示例数据：用户购买记录

data = {

'user_id': [1, 2, 3, 4, 5],

'purchase_count': [5, 10, 3, 8, 12],

'total_amount': [100, 200, 50, 150, 300]

}

# 创建DataFrame

df = pd.DataFrame(data)

# 用户购买频次分析

purchase_counts = df['purchase_count']

avg_purchase_count = purchase_counts.mean()print(f'平均购买次数：{avg_purchase_count}')

# 用户购买金额分析

total_amounts = df['total_amount']

avg_total_amount = total_amounts.mean()print(f'平均购买金额：{avg_total_amount}')

# 数据可视化

plt.figure(figsize=(10, 5))

# 绘制购买次数柱状图

plt.subplot(1, 2, 1)

plt.bar(df['user_id'], df['purchase_count'])

plt.xlabel('User ID')

plt.ylabel('Purchase Count')

plt.title('Purchase Count per User')

# 绘制购买金额柱状图

plt.subplot(1, 2, 2)

plt.bar(df['user_id'], df['total_amount'])

plt.xlabel('User ID')

plt.ylabel('Total Amount')

plt.title('Total Amount per User')

plt.tight_layout()

plt.show()

首先根据用户购买记录计算了用户的购买频次、平均购买金额、购买总金额等指标，并计算了用户的购买价值、活跃度和忠诚度等指标。然后通过Matplotlib库绘制了购买价值、活跃度和忠诚度的柱状图展示分析结果。

表3-3 电商用户价值分析程序

import pandas as pdimport matplotlib.pyplot as plt

# 示例数据：用户购买记录

data = {

'user_id': [1, 2, 3, 4, 5],

'purchase_count': [5, 10, 3, 8, 12],

'total_amount': [100, 200, 50, 150, 300]

}

# 创建DataFrame

df = pd.DataFrame(data)

# 计算用户购买频次、平均购买金额和购买总金额

df['avg_amount'] = df['total_amount'] / df['purchase_count']

avg_purchase_count = df['purchase_count'].mean()

avg_avg_amount = df['avg_amount'].mean()

total_purchase_amount = df['total_amount'].sum()

print(f'平均购买次数：{avg_purchase_count}')print(f'平均购买金额：{avg_avg_amount}')print(f'总购买金额：{total_purchase_amount}')

# 计算用户购买价值

df['purchase_value'] = df['total_amount'] / total_purchase_amount

# 计算用户活跃度

df['activity'] = df['purchase_count'] / avg_purchase_count

# 计算用户忠诚度

df['loyalty'] = df['avg_amount'] / avg_avg_amount

# 数据可视化

plt.figure(figsize=(12, 4))

# 绘制购买价值、活跃度和忠诚度柱状图

plt.subplot(1, 3, 1)

plt.bar(df['user_id'], df['purchase_value'], color='skyblue')

plt.xlabel('User ID')

plt.ylabel('Purchase Value')

plt.title('Purchase Value per User')

plt.subplot(1, 3, 2)

plt.bar(df['user_id'], df['activity'], color='lightgreen')

plt.xlabel('User ID')

plt.ylabel('Activity')

plt.title('Activity per User')

plt.subplot(1, 3, 3)

plt.bar(df['user_id'], df['loyalty'], color='lightcoral')

plt.xlabel('User ID')

plt.ylabel('Loyalty')

plt.title('Loyalty per User')

plt.tight_layout()

plt.show()

4 后台系统实现

本文设计的基于大数据的电商销量信息分析系统的后台系统采用的是Flask框架实现的，这是一种MVC模式的开发框架，通过在表现层接收前端传入的参数，将在Controller进行逻辑分发，再调用Service进行不同业务的处理，最后去操作数据库进行数据的CRUD，从而实现指定的功能。前端使用Echarts技术，在数据持久层使用的是MySQL数据库。本文将在第四章介绍本系统后台的搭建过程，技术选型，以及后台代码配置等，最后以具体页面的详情图描述了本系统的常用的基本功能。

4.1 开发环境与配置

4.1.1 开发环境

本系统设计基于B/S架构，其中服务器包括应用服务器和数据库服务器。这种架构模式，使用户只需要在有网络的地方即可通过浏览器访问，而不需要再安装天气端软件，交互性更强。基于Flask的智慧社区分析可视化分析平台使用Pycharm集成开发工具。而系统运行配置时，选择应用本地来部署Web服务器来保障平台的正常运行。本系统的主要开发环境以及开发工具如表4-1所示。

表4-1 系统开发环境和工具

项目	系统环境及版本
硬件环境	Windows 64 位操作系统
Python	Python2.6
数据库	MySql
开发工具	Pycharm
项目架构	Flask

4.1.2 框架配置介绍

本系统使用集成开发工具 Pycharm进行开发，本文主要介绍 Flask 框架的配置。创建了一个Flask应用程序，设置了DEBUG模式为True，并指定了一个SECRET_KEY。接下来定义了一个简单的路由'/'，并编写了对应的视图函数index，返回消息。另外配置还可能涉及到数据库配置、日志配置、第三方服务配置等等。可以将这些配置放在一个单独的配置文件中，然后在应用程序中导入配置。

表4-2 后台的配置文件

from flask import Flask

app = Flask(__name__)

# 应用程序配置

app.config['DEBUG'] = True

app.config['SECRET_KEY'] = 'your_secret_key_here'

python

class Config:

DEBUG = True

SECRET_KEY = 'your_secret_key_here'

SQLALCHEMY_DATABASE_URI = 'sqlite:///database.db'

4.1.3 数据库的设计

数据库设计是系统设计中特别重要的一部分。数据库的好坏决定着整个系统的好坏，并且，在之后对数据库的系统维护、更新等功能中，数据库的设计对整个程序有着很大的影响。

根据功能模块的划分结果可知，本系统的用户由于使用账号和密码进行登录，因此在本系统中需要分别进行数据记录。首先根据如下6个数据实体:用户、智慧社区分析等数据库表。

商品的属性包括商品编号、商品名、产品类别和地址、商家信息。商品实体属性图如图4-1所示：

图4-1商品实体属性图

用户的属性包括用户编号、用户名、密码和性别、注册账号的时间。用户实体属性图如图4-2所示：

图4-2 用户实体属性图

4.2 系统功能模块实现

4.2.1登录认证

当用户执行登陆操作时，后台会从前端传过来的参数中拿到用户名和密码，并查询数据库，通过findUserByName方法查询该用户的密码字段，再将查询的结果和前端传过来的密码参数字段进行比对，如果相同，则匹配成功用户直接跳转到登录成功后的欢迎界面；如果匹配失败则需提前前端继续输入正确的密码直到登录成功。用户登录具体流程如时序图如4-2所示。

一

图4-2登录认证流程图

基于大数据的电商用户行为分析集群系统的用户登录界面如下图所4-3所示：

图4-3用户登录界面

登陆成功后，系统会成功跳转至首页，在首页中，位于上方的横栏是对本系统的基本信息的描述和欢迎登录效果，另外登录用户的用户名也会显示在首页中，可直接表明用户已成功登录。左侧则是本系统的导航菜单，可折叠展示，较为方便，右方则为欢迎页效果。基于大数据的电商用户行为分析集群系统的首页界面如下图所4-4所示：

图4-4电商用户行为分析系统首页界面

4.2.2电商销量信息管理功能

电商销量信息管理功能是对电商销量信息进行查询，删除等操作的功能集合，电商销量信息管理功能使用到了电商销量信息表t_goods, 电商销量信息表t_goods的主要数据字段，结构，类型及描述如下表4-2所示。

表4-2 电商销量信息表字段

字段名称	数据类型	是否允许为空	描述
id	int	不允许	自增主键，唯一ID
title	String	允许	销售标题
price	String	允许	销售价格
brand	String	允许	所属品牌
model	String	允许	子品类
shop_name	String	允许	店铺名称
comment_count	String	允许	评论数
url	String	允许	商品详情URL
crawl_date	String	允许	爬取数据时间

基于大数据的电商用户行为分析集群系统的电商销量信息管理功能界面如下图所4-5所示：

图4-5电商销量信息管理菜单界面

电商销量信息管理

功能流程功能图如图3-6所示：

图4-6电商销量信息管理功能流程图

通过“电商销量信息管理”按钮，进入电商销量信息界面，用户可以看到电商销量列表，例如：品牌、所在商铺名称、电商售价、销售数量、商品详情、销售时间的详细信息。通过此界面，用户可以对电商销售数据信息进行删除管理操作。

4.2.3电商用户行为分析看板功能

数据可视化模块就是对我们采集和计算的分析结果的展示。数据分析模块的数据进行一个精美而又直接的展示，我们采用大屏的方式进行展示，展示数据结构分明，背景具有科技感，把相对复杂的、抽象的数据通过可视的、交互的方式进行展示，从而形象直观地表达数据蕴含的信息和规律。

电商用户行为分析看板界面如图4-6所示。

图4-6电商用户行为分析看板界面

电商用户行为分析可视化看板的功能较为丰富，由图可知，用户在登录本系统后，可以很清楚的读懂目前市场上的电商销售行情，如什么品牌的电商销量最高，那个价格区间的电商销量最高等等，这对用户而言是十分关注的，因此如何开发出美观的可视化界面也是一项不可或缺的工作。本文使用了图形，表格，地图等各种方式联动数据，十分直观。另外本文使用了Echarts中地图、线条等组件，将分析结果较为直观的展示给平台用户，使得用户能够简便的获取有效的信息。

图4-7电商用户价值分析界面

4.3 本章小结

本章主要分析了基于大数据的电商销量分析系统的设计与实现系统开发过程中使用到的技术和具体的实现步骤，这其中主要介绍了电商销量大数据分析平台的搭建环境和开发步骤，包括程序中的一些数据库配置等。前端页面采用的是Html实现。

5 总结与展望

5.1 系统开发遇到的问题

（1）在网络爬虫开发的过程中，由于企业网站会设置反爬虫操作，很多电商销量电商销量发布网站的前端页面代码会更改，包括页面的整体结构和局部的标签都进行了细微的改变，甚至有一小部分业务逻辑也进行了改变，进而导致之前前期己完成的开发爬虫代码无法长期使用，需要定期维护和修改。
（2）由于基于大数据电商销量信息分析平台是由本人独立开发，因此在系统设计和业务逻辑方面更多地借鉴了目前市场上较为流行的框架和技术点，包括大数据技术，很多是不熟悉没接触过的，在开发过程中不断学习新知识。另外由于本人的时间和精力的原因，在系统开发过程中有很多地方可能并不能够完全尽如人意，还有许多需要补充的功能与模块。

5.2 总结与展望

为保证有足够的技术能力去开发本系统，首先本人对开发过程中所用到的工具和技术进行了认真地学习和研究，详细地钻研了基于Python的网络爬虫技术以及 Echarts,CSS,HTML等前端开发技术，同时还研究了大数据开发技术大数据,HDFS,MapReduce等。
然后从电商销量数据大数据分析平台需求分析开始，到整体框架的设计以及各个详细功能的设计具体实现，最后基于大数据平台的电商销量信息分析系统的基础架构和详细功能已经大致开发完毕，并将其部署在Tomcat服务器当中运行，用户可以登录使用该系统进行电商销量信息的筛选，同时查询大数据的分析结果。

参考文献

[1] 中国电子商务市场数据发布报告2020Q1&2020Q2e[A]. 上海艾瑞市场咨询有限公司.艾瑞咨询系列研究报告(2020 年第6期) [C]: 上海艾瑞市场咨询有限公司,2020:25.

[2] 刘维维,电信行业中基于数据仓库和数据挖掘技术的决策支持系统[D]中国科技信息,2006(07):180-181.

[3] 岳亚娜孟凡胜电商社交营销对策浅析[J]科技经济导刊2021,2901);169-170

[4] 任宏伟基于异常检测技术的数据防爬系统设计与应用.中国科学院大学(工程管理与信息技术学院).2016.

[5] 倪星字，基于大数据云计算平台的构建[J]，微型电脑应用，2020，36（12);103-105.

[6] 王玻璇MapReduce 下差分隐私保护技术研究与实现[D]南京邮电大学，2020.

[7] 郑楠，我国开放政府数据的价值增值方式解析[J]新西部(理论版)2016（13）:68.

[8]叶惠仙，基于HaopHle技术的电商销量网站数据分析研究口，网络安全技术与应用,202012)77-79.

[9] An efficient approach for land record classiffication and information retrieval in data warehouse. International journal of Computers and Applications 2021.（1）

[10]王佳珙大数据平台下调度算法及其改进策略研究[D]北京邮电大学,2016.

[11]张兴，基于大数据的云存储平台的研究与实现[D]电子科技大学.2013.

致谢

在大学的校园里，我度过了难忘的学习生活。在这期间，我从周围的老师和同学身上学到了很多知识，并且建立了深厚的感情。

四年时间过的飞快，已经到了书写自己毕业论文的节点，回想过去的四年，充满了无数的欢乐，也学习了不少专业知识，这也更加丰富了我的大学生活。因此我要我的学院里的每一位教师，是你们教会了我的专业知识，让我具有了一技之长，同时还要感谢指导老师对我毕业设计的指导。

然后，感谢给子我帮助的朋友们，是你们让我的学习生涯更加温暖，让我能更加坚定的追求自己想要的生活。两年来，我们一起相互支持彼此的信念，一起学习新的知识，起解决遇到的各种问题，不管我们选择的道路最终是否能够达到自己的理想，但愿我们能够友谊长存。

最后，我要感谢父母，是你们培养了我。

附录

附录正文。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/996173