devbox
笔触狂放9
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

搭建zookeeper高可用集群详细步骤_高可用集群搭建详细步骤

作者：笔触狂放9 | 2024-08-03 15:05:58

赞

踩

高可用集群搭建详细步骤

目录

一、虚拟机设置

1.新建一台虚拟机并克隆三台，配置自定义

2.修改四台虚拟机的主机名并立即生效

3.修改四台虚拟机的网络信息

4.重启四台虚拟机的网络服务并测试网络连接

5.重启四台虚拟机，启动后关闭四台虚拟机的防火墙

6.在第一台虚拟机的/etc/hosts下面配置这四台主机映射 

7.将/etc/hosts安全分发到另外三台虚拟机

8.配置四台虚拟机免密登录

9.设置四台虚拟机时间同步

二、自动安装JDK和zookeeper

1.在第一台虚拟机的/opt/目录下新建install、soft和shell三个文件

2.上传jdk、zoookeeper压缩包到第一台虚拟机/opt/install/目录下

3.编写自动安装jdk和zookeeper脚本并赋予执行权限

4.执行/opt/shell/autoinstall.sh脚本

5.重启环境变量查看是否安装成功

6.来到/opt/soft/zk345/conf目录下，修改zoo.cfg文件，添加下面的内容

7.来到/opt/soft/zk345目录下，删除datas目录下所有的文件

8.将JDK和环境变量分发给三台虚拟机，将zookeeper分发给两台虚拟机

9.删除三台虚拟机的/opt/soft/zk345/datas目录下的所有文件，配置myid

10.编辑zookeeper集群开启脚本——zkop.sh

11.编写查询集群启动状态信息批量展示脚本——showjps.sh

12.执行zkop.sh和showjps.sh脚本，开启zookeeper集群

13.查看zookeeper集群状态

14.关闭zookeeper集群

一、虚拟机设置

1.新建一台虚拟机并克隆三台，配置自定义

也可以新建好一个，然后导出ovf，再打开

2.修改四台虚拟机的主机名并立即生效

  1. [root@localhost ~]# hostnamectl set-hostname 主机名
  2.  
  3. [root@localhost ~]#bash
  4.  
  5. [root@主机名~]# hostname
  6. 主机名

3.修改四台虚拟机的网络信息

vim /etc/sysconfig/network-script/ifcfg-ens33

4.重启四台虚拟机的网络服务并测试网络连接

  1. systemctl restart network.service
  2. # 或者
  3. service network restart

5.重启四台虚拟机，启动后关闭四台虚拟机的防火墙

  1. [root@ant165 ~]# systemctl stop firewalld
  2. [root@ant165 ~]# systemctl disable firewalld.service

6.在第一台虚拟机的/etc/hosts下面配置这四台主机映射 

[root@ant165 ~]# vim /etc/hosts

7.将/etc/hosts安全分发到另外三台虚拟机

  1. [root@ant165 .ssh]# scp /etc/hosts root@ant166:/etc/
  2. hosts                                     100%  250    18.3KB/s   00:00    
  3. [root@ant165 .ssh]# scp /etc/hosts root@ant167:/etc/
  4. hosts                                     100%  250   162.4KB/s   00:00    
  5. [root@ant165 .ssh]# scp /etc/hosts root@ant168:/etc/
  6. hosts                                     100%  250   169.3KB/s   00:00

8.配置四台虚拟机免密登录

  1. [root@ant165 ~]# ssh ant165
  2. The authenticity of host 'ant165 (192.168.180.165)' can't be established.
  3. ECDSA key fingerprint is SHA256:hQzFzPZt1T9MooVcHRLOnmC4hYlNsaG28J65Ovi10uc.
  4. ECDSA key fingerprint is MD5:46:97:1a:6c:02:8d:17:d6:98:d9:81:85:0e:a8:ca:5e.
  5. Are you sure you want to continue connecting (yes/no)? yes
  6. Warning: Permanently added 'ant165,192.168.180.165' (ECDSA) to the list of known hosts.
  7. root@ant165's password: 
  8. Last login: Wed Feb 15 00:01:20 2023 from 192.168.180.1
  9. [root@ant165 ~]# ll -al
  10. total 32
  11. dr-xr-x---.  3 root root  163 Feb 15 00:04 .
  12. dr-xr-xr-x. 17 root root  224 Feb 14 23:13 ..
  13. -rw-------.  1 root root 1419 Feb 14 23:14 anaconda-ks.cfg
  14. -rw-------.  1 root root  312 Feb 15 00:01 .bash_history
  15. -rw-r--r--.  1 root root   18 Dec 29  2013 .bash_logout
  16. -rw-r--r--.  1 root root  176 Dec 29  2013 .bash_profile
  17. -rw-r--r--.  1 root root  176 Dec 29  2013 .bashrc
  18. -rw-r--r--.  1 root root  100 Dec 29  2013 .cshrc
  19. drwx------.  2 root root   25 Feb 15 00:04 .ssh
  20. -rw-r--r--.  1 root root  129 Dec 29  2013 .tcshrc
  21. -rw-------.  1 root root  575 Feb 15 00:04 .viminfo
  22. [root@ant165 ~]# cd .ssh
  23. [root@ant165 .ssh]# ll
  24. total 4
  25. -rw-r--r--. 1 root root 184 Feb 15 00:04 known_hosts

配置四台虚拟机免密登录：

  1. [root@ant165 .ssh]# ssh-keygen -t rsa -P ''
  2.  
  3. [root@ant165 .ssh]# ssh-copy-id ant165
  4.  
  5. #免密登录，两个命令都可以
  6. [root@ant165 .ssh]# ssh ant165 | ssh -p22 root@ant165

在其他三台虚拟机上重复上面的命令 

  1. [root@ant165 .ssh]# ssh-keygen -t rsa -P ''
  2.  
  3. [root@ant165 .ssh]# ssh-copy-id ant165
  4. [root@ant165 .ssh]# ssh-copy-id ant166
  5. [root@ant165 .ssh]# ssh-copy-id ant167
  6. [root@ant165 .ssh]# ssh-copy-id ant168

9.设置四台虚拟机时间同步

  1. [root@ant165 ~]# yum -y install ntpdate
  2.  
  3. [root@ant165 ~]# ntpdate time.windows.com
  4. 14 Feb 16:33:52 ntpdate[11365]: step time server 40.81.94.65 offset -28800.832564 sec
  5.  
  6. [root@ant165 ~]# date
  7. Tue Feb 14 16:33:54 CST 2023
  8.  
  9. [root@ant165 ~]# crontab -e
  10. */10 * * * * /usr/sbin/ntpdate  time.windows.com
  11.  
  12. # 重新加载脚本
  13. [root@ant165 ~]# systemctl reload crond
  14.  
  15. # 重启脚本
  16. [root@ant165 ~]# systemctl restart crond
  17.  
  18. # 查看脚本状态
  19. [root@ant165 ~]# systemctl status crond
  20. ● crond.service - Command Scheduler
  21.    Loaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)
  22.    Active: active (running) since Tue 2023-02-14 16:36:13 CST; 8s ago
  23.   Process: 11376 ExecReload=/bin/kill -HUP $MAINPID (code=exited, status=0/SUCCESS)
  24.  Main PID: 11386 (crond)
  25.    CGroup: /system.slice/crond.service
  26.            └─11386 /usr/sbin/crond -n
  27.  
  28. Feb 14 16:36:13 ant165 systemd[1]: Started Command Scheduler.
  29. Feb 14 16:36:13 ant165 systemd[1]: Starting Command Scheduler...
  30. Feb 14 16:36:13 ant165 crond[11386]: (CRON) INFO (RANDOM_DELAY will be s...)
  31. Feb 14 16:36:13 ant165 crond[11386]: (CRON) INFO (running with inotify s...)
  32. Feb 14 16:36:13 ant165 crond[11386]: (CRON) INFO (@reboot jobs will be r...)
  33. Hint: Some lines were ellipsized, use -l to show in full.

二、自动安装JDK和zookeeper

1.在第一台虚拟机的/opt/目录下新建install、soft和shell三个文件

  1. [root@ant165 opt]# mkdir install
  2. [root@ant165 opt]# mkdir soft
  3. [root@ant165 opt]# mkdir shell

2.上传jdk、zoookeeper压缩包到第一台虚拟机/opt/install/目录下

3.编写自动安装jdk和zookeeper脚本并赋予执行权限

  1. [root@ant165 shell]# vim autoinstall.sh
  2.  
  3. ​
  4.  
  5. #! /bin/bash
  6. echo 'auto install begining...'
  7.  
  8. # global var
  9. jdk=true
  10.  
  11.  
  12. if [ "$jdk" = true ];then
  13.   echo 'jdk install set true'
  14.   echo 'setup jdk 8'
  15.  tar -zxf /opt/install/jdk-8u321-linux-x64.tar.gz -C /opt/soft
  16.  mv /opt/soft/jdk1.8.0_321 /opt/soft/jdk180
  17.   sed -i '73a\export PATH=$PATH:$JAVA_HOME/bin' /etc/profile
  18.   sed -i '73a\export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar' /etc/profile
  19.   sed -i '73a\export JAVA_HOME=/opt/soft/jdk180' /etc/profile
  20.   sed -i '73a\# JAVA_HOME' /etc/profile
  21.   echo 'setup jdk8 success!!!'
  22. fi
  23. ​
  24. # global var
  25. zk=true
  26.  
  27. hostname=`hostname`
  28. if [ "$zk" = true ];then
  29.     echo 'zookeeper install set true'
  30.     echo 'setup zookeeper-3.4.5-cdh5.14.2.tar.gz'
  31.     tar -zxf /opt/install/zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/soft/
  32.     mv /opt/soft/zookeeper-3.4.5-cdh5.14.2 /opt/soft/zk345
  33.     cp /opt/soft/zk345/conf/zoo_sample.cfg /opt/soft/zk345/conf/zoo.cfg
  34.     mkdir -p /opt/soft/zk345/datas
  35.     sed -i '12c dataDir=/opt/soft/zk345/datas'  /opt/soft/zk345/conf/zoo.cfg
  36.     echo "server.0=$hostname:2287:3387" >> /opt/soft/zk345/conf/zoo.cfg
  37.     echo "0" > /opt/soft/zk345/datas/myid
  38.     sed -i '73a\export PATH=$PATH:$ZOOKEEPER_HOME/bin' /etc/profile
  39.     sed -i '73a\export ZOOKEEPER_HOME=/opt/soft/zk345' /etc/profile
  40.     sed -i '73a\#ZOOKEEPER_HOME' /etc/profile
  41.     echo 'setup zookeeper success!!!'
  42. fi

赋予执行权限

[root@ant165 shell]# chmod 777 ./autoinstall.sh

4.执行/opt/shell/autoinstall.sh脚本

5.重启环境变量查看是否安装成功

  1. [root@ant165 shell]# source /etc/profile
  2.  
  3. [root@ant165 shell]# javac
  4.  
  5. [root@ant165 shell]# zkServer.sh start
  6. JMX enabled by default
  7. Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
  8. Starting zookeeper ... STARTED
  9.  
  10.  
  11. [root@ant165 shell]# jps
  12. 11731 QuorumPeerMain
  13. 11753 Jps
  14.  
  15.  
  16. [root@ant165 shell]# zkServer.sh status
  17. JMX enabled by default
  18. Using config: /opt/soft/zk345/bin/../conf/zoo.cfg
  19. Mode: standalone

出现上面的信息就说明zookeeper单机版安装成功

6.来到/opt/soft/zk345/conf目录下，修改zoo.cfg文件，添加下面的内容

7.来到/opt/soft/zk345目录下，删除datas目录下所有的文件

[root@ant165 zk345]# rm -rf ./datas/*

8.将JDK和环境变量分发给三台虚拟机，将zookeeper分发给两台虚拟机

  1. # 分发/opt下的soft目录：
  2. [root@ant165 ~]# scp -r /opt/soft/ root@ant166:/opt/
  3.  
  4. [root@ant165 ~]# scp -r /opt/soft/ root@ant167:/opt/
  5.  
  6. [root@ant165 ~]# scp -r /opt/soft/ root@ant168:/opt/
  7.  
  8.  
  9. # 分发JDK：
  10. [root@ant165 datas]# scp -r /opt/soft/jdk180/ root@ant166:/opt/soft/
  11.  
  12. [root@ant165 datas]# scp -r /opt/soft/jdk180/ root@ant167:/opt/soft/
  13.  
  14. [root@ant165 datas]# scp -r /opt/soft/jdk180/ root@ant168:/opt/soft/
  15.  
  16.  
  17. # 分发zookeeper：
  18. [root@ant165 datas]# scp -r /opt/soft/zk345/ root@ant166:/opt/soft/
  19.  
  20. [root@ant165 datas]# scp -r /opt/soft/zk345/ root@ant167:/opt/soft/
  21.  
  22.  
  23. # 分发环境变量：
  24. [root@ant165 datas]# scp /etc/profile root@ant166:/etc/
  25. profile                                   100% 2032   200.1KB/s   00:00  
  26.   
  27. [root@ant165 datas]# scp /etc/profile root@ant167:/etc/
  28. profile                                   100% 2032     1.3MB/s   00:00    
  29.  
  30. [root@ant165 shell]# scp /etc/profile root@ant168:/etc/
  31. profile                                   100% 2032     1.6MB/s   00:00    
  32. [root@ant165 shell]# ./showjps.sh

9.删除三台虚拟机的/opt/soft/zk345/datas目录下的所有文件，配置myid

  1. [root@ant165 datas]# rm -rf /opt/soft/zk345/datas/*
  2. [root@ant165 datas]# echo "0" > myid
  3.  
  4.  
  5. [root@ant166 datas]# rm -rf /opt/soft/zk345/datas/*
  6. [root@ant166 datas]# echo "1" > myid
  7.  
  8.  
  9. [root@ant167 datas]# rm -rf /opt/soft/zk345/datas/*
  10. [root@ant167 datas]# echo "2" > myid

10.编辑zookeeper集群开启脚本——zkop.sh

  1. #! /bin/bash
  2. case $1 in
  3. "start"){
  4.   for i in ant165 ant166 ant167
  5.    do
  6.      ssh $i "source /etc/profile; /opt/soft/zk345/bin/zkServer.sh start"
  7.    done
  8.  
  9. };;
  10. "stop"){
  11.    for i in ant165 ant166 ant167
  12.    do
  13.      ssh $i "source /etc/profile; /opt/soft/zk345/bin/zkServer.sh stop"
  14.    done
  15.  
  16. };;
  17.  
  18. "status"){
  19.    for i in ant165 ant166 ant167
  20.    do
  21.      ssh $i "source /etc/profile; /opt/soft/zk345/bin/zkServer.sh status"
  22.    done
  23. };;
  24. esac

赋予执行权限

[root@ant165 shell]# chmod 777 ./zkop.sh

11.编写查询集群启动状态信息批量展示脚本——showjps.sh

  1. #! /bin/bash
  2. for i in ant165 ant166 ant167 ant168
  3. do
  4.    echo ---------------- $i 服务启动状态 -----------------
  5.    ssh $i "source /etc/profile; /opt/soft/jdk180/bin/jps "
  6. done

赋予执行权限

[root@ant165 shell]# chmod 777 ./showjps.sh

12.执行zkop.sh和showjps.sh脚本，开启zookeeper集群

zookeeper集群成功开启！！！

13.查看zookeeper集群状态

14.关闭zookeeper集群

后续搭建Hadoop集群参考博文《基于zookeeper的Hadoop集群搭建详细步骤》

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号