赞
踩
基本设计(研究)思路
(一)Selenium自动化Python爬虫工具采集大众点评上的美团店铺数据、美食数据约10万条存入.csv文件作为数据集;
(二)使用pandas+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;
(三)使用hive数仓技术建表建库,导入.csv数据集;
(四)离线分析采用hive_sql完成,实时分析利用Spark之Scala完成;
(五)统计指标使用sqoop导入mysql数据库;
(六)使用Flask+echarts进行可视化大屏开发;
(七)使用机器学习、深度学习的算法进行个性化美团美食推荐;
(八)使用卷积神经网络KNN、CNN实现店铺流量预测;
(九)搭建springboot+vue.js前后端分离web系统进行个性化推荐界面、店铺预测界面、知识图谱等实现;
(2)技术关键点
前端技术:element-ui、vue.js、echarts
后端技术:springboot、mybatis-plus
数据库技术:mysql关系型数据库、neo4j图数据库
爬虫技术:selenium自动化工具
推荐算法技术:协同过滤算法、SVD混合神经网络、MLP感知层模型
大数据技术:hadoop、spark、hive、vmvare
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。