赞
踩
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
此作为记录大三下的十五天企业实训。本文主要包括以下内容:
整个过程记录详细,每个步骤亲历亲为,实测可用。同时,包含多个脚本文件的编写,便捷集群环境的搭建配置。
此外,本文内容是在 JDK和Hadoop的安装配置
的基础上进行的。很多脚本文件都在此文给出了相关的代码和具体的用法。例如:myjps、xsync等。
本文系统的虚拟机版本为:CentOS-7.5-x86_64-DVD-1804.iso
,
相关系统工具:VMWare
和 FinalShell
在文章开始前,我们先大致了解一下当前已完善的集群规划:
hadoop101 | hadoop102 | hadoop103 |
---|---|---|
JDK | JDK | JDK |
Hadoop | Hadoop | Hadoop |
顾名思义 zookeeper 就是动物园管理员,它是用来管 hadoop(大象)、Hive(蜜蜂)、pig(小 猪)的管理员。Zookeeper 是一个分布式的、开源的程序协调服务,是 hadoop 项目下的一个子项目。他提供的主要功能包括:配置管理、名字服务、分布式锁、集群管理。
配置管理: zk提供一种集中管理配置的方法,我们在这个集中的地方修改了配置,所有对这个配置感兴趣的 都可以获得变更。在开源的消 息队列 Kafka 中,也使用 Zookeeper来维护broker的信息。
名字服务: 提供统一DNS 文件入口。
分布式锁:…
集群管理: 在分布式的集群中,经常会由于各种原因,比如硬件故障,软件故障,网络问题,有些 节点会进进出出。有新的节点加入进来,也有老的节点退出集群。这个时候,集群中其他机 器需要感知到这种变化,然后根据这种变化做出对应的决策。开源的 Kafka 队列就 采用了 Zookeeper 作为 Cosnumer 的上下线管理。
将Zookeeper 压缩包上传到 /opt/module
目录。
解压Zookeeper:tar -axvf apache-zookeeper-3.5.7-bin.tar.gz -C ../module
修改文件名称: mv apache-zookeeper-3.5.7-bin/ zk
配置Zookeeper环境变量 :vim /etc/profile
刷新配置信息: source /etc/profile
同步/etc/profile 文件到其他两台虚拟机:hadoop102
和 hadoop103
xsync /etc/profile /etc/profile
! 记得每台虚拟机执行:source /etc/profile
配置服务器编号。 此为zk 配置集群管理的关键。
a) 创建zkData目录。
b) 在/opt/module/zd/zkData
目录下创建一个myid的文件:
在文件中添加与server对应的编号。
c) 将配置好的zk群发到其他机器上。xsync /opt/module/zk /opt/module/zk
!:同时在hadoop102、hadoop103上修改myid文件中内容为2、3
配置zoo.cfg文件
a) 重命名 /opt/module/zk/conf 这个目录下的zoo_sample.cfg为zoo.cfg
b) 修改zoo.cfg 文件. vim zoo.cfg
修改数据存储路径配置
增加如下配置后
同步该配置文件到其他机器
xsync /opt/module/zk/conf/zoo.cfg /opt/module/zk/conf/zoo.cfg
以上内容即完成了整个ZooKeeper集群的安装和搭建。
单机启动方式: (由于已经配置了环境变量,故这里在任意目录下都可执行)
# 启动当前虚拟机的zk 服务
zkServer.sh start
# 关闭当前虚拟机的zk 服务
zkServer.sh stop
可通过jps 查看zk 的启动情况:
集群启动方式: 一台一台启动zk 实在是太不友好了。这里提供zk 群起的脚本。
脚本内容如下:
#!/bin/bash if(($#==0)) then echo "PLEASE USE: {start|stop|status}" exit; fi case $1 in start) for i in hadoop101 hadoop102 hadoop103 do echo "--------->$i<---------" ssh $i zkServer.sh start done echo "zk is Running!" ;; stop) for i in hadoop101 hadoop102 hadoop103 do echo "--------->$i<---------" ssh $i zkServer.sh stop done
添加完执行权限后(chmod +x ./zk),我们即可轻易的群起三台虚拟机的zk 啦。
# 群起zk
zk start
# 查看三台虚拟机的zk 状态,可查看who is leader
zk status
# 群闭zk
zk stop
启动后,通过 myjps 查看:
以上就为本篇文章的全部内容啦!
如果本篇内容对您有帮助的话,请多多点赞支持一下呗!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。