Hadoop 集群项目（类似百度网盘）_hadoop云盘项目案例

Hadoop 云盘项目总结

一个云盘存储系统，将文件存入Hadoop中或者将Hadoop中的文件取出到本地。

架构图

Hadoop集群拓扑图

​​​​

技术点

1.nginx：反向代理，负载均衡，动静分离；
2.redis：利用redisson来对上传文件进行布隆过滤（已上传的文件无需再次上传）；进行session会话管理；
3.HDFSAPI操作（项目功能）：创建文件夹，上传文件，下载文件，删除文件，查找某些类型的文件，复制文件，移动文件，重命名文件。
4.flume日志采集：对nginx和项目产生的日志信息进行采集，写入hdfs中；
5.sqoop数据采集：将mysql中的用户信息和文件信息导入的hdfs中。
6.mapreduce任务：读取hdfs上sqoop采集的用户操作数据，对用户的操作进行分析（找出操作次数最多的文件），然后写入mysql和hdfs中。
7.Azkaban：对flume日志采集、sqoop数据采集、mapreduce任务进行调度。
8.mysql：数据库操作，springboot中使用mybatis-plus，mapreduce中使用原生API。
9.页面：html+css+js+vue；

1. node1:请安装 mysql, ngix, tomcat
2. 请配置 flume 采集 nginx 运行日志，入库到 hdfs中.
3. 请配置好云盘项目的 日志, 发布你云盘项目,打成 jar包，运行起来, 用flume采集此项目的日志.
4. 请将云盘项目动静分离, 静态资源 html, css, js放到 nginx中，后台部分打成jar独立运行，生成日志.

一、 node1节点安装 mysql8, ngix, tomcat，redis

1.1 CentOS7安装MySQL8

CentOS7安装MySQL8（超级详细-无坑）

1.1.1  官网下载 -> 解压 -> 重命名 -> 添加PATH变量（ vim /etc/profile -> source /erc/profile ）
1.1.2  创建用户组和用户 -> 创建数据目录 -> 创建 my.cnf 文件配置参数 -> 初始化（在mysql8目录中 /usr/local/mysql8/mysql8 ）
1.1.3  启动mysql -> 登录mysql -> 设置密码 -> 设置允许远程登录
1
2
3

1.2 CentOS7安装Nginx

CentOS7安装Nginx

1.3 CentOS7安装Tomcat

Centos7安装tomcat8.5

进入tomcat下的conf目录，修改tomcat-users.xml
1

$ cd /usr/local/tomcat/conf
$ vim tomcat-users.xml
#添加以下内容
<role rolename="admin-gui"/>
<role rolename="manager-gui"/>
<user username="admin" password="admin" roles="admin-gui,manager-gui"/>
1
2
3
4
5
6

配置Tomcat用户管理页的远程访问 cd /usr/localtomcat/webapps/manager/META-INF/context.xml 将下面内容注释掉。
1

二、请配置 flume 采集 nginx, tomcat运行日志，入库到 hdfs中.

2.1 flume 采集 nginx 日志

1.1.1  在  /usr/local/flume1100/flume/jobs/t5  文件夹下创建  nginxToFlume.conf  文件
1

#flume-ng agent --conf conf/ --name a5 --conf-file nginxToFlume.conf

a5.sources=r5
a5.sinks=k5
a5.channels=c5


a5.sources.r5.type=exec
a5.sources.r5.command=tail -F /usr
1
2
3
4
5
6
7
8