当前位置:   article > 正文

HBase 高可用集群详细图文安装部署_hbase 安装

hbase 安装

目录

一、HBase 安装部署

1.1 Zookeeper 正常部署

1.2 Hadoop 正常部署 

1.3 HBase 安装 

1.4 HBase 的配置文件 

1.4.1 hbase-env.sh 

1.4.2 hbase-site.xml

1.4.3 regionservers 

1.4.4 创建目录

1.5 HBase 远程发送到其他节点

1.6 HBase 服务的启动 

1.6.1 单点启动(推荐)

1.6.2 群启

1.6.2 停止服务

1.7 查看 HBase 页面 

1.8 高可用(推荐)

二、HBase 集群扩缩容


一、HBase 安装部署

主机名称IP资源部署角色
hadoop01192.168.170.1362cpu 4Gmaster、regionserver
hadoop02192.168.170.1372cpu 4Gmaster、regionserver
hadoop03192.168.170.1382cpu 4Gregionserver

1.1 Zookeeper 正常部署

首先保证 Zookeeper 集群的正常部署,并启动之。

安装教程:【Zookeeper 初级】02、Zookeeper 集群部署-CSDN博客

1.2 Hadoop 正常部署 

Hadoop 集群的正常部署并启动。

安装教程:Hadoop YARN HA 集群安装部署详细图文教程_hadoop yarn部署-CSDN博客

1.3 HBase 安装 

HBase 官方下载地址:Apache Download Mirrors

  1. (base) [root@hadoop01 ~]# ls
  2. hbase-2.5.6-bin.tar.gz
  3. # 解压 Hbase 到指定目录
  4. (base) [root@hadoop01 ~]# tar -zxvf hbase-2.5.6-bin.tar.gz -C /bigdata/
  5. (base) [root@hadoop01 ~]# cd /bigdata/
  6. (base) [root@hadoop01 /bigdata]# mv hbase-2.5.6 hbase
  7. # 配置环境变量
  8. (base) [root@hadoop01 /bigdata]# vim /etc/profile
  9. # hbase
  10. export HBASE_HOME=/bigdata/hbase
  11. export PATH=$PATH:$HBASE_HOME/bin
  12. # 使用 source 让配置的环境变量生效
  13. (base) [root@hadoop01 /bigdata]# source /etc/profile

1.4 HBase 的配置文件 

1.4.1 hbase-env.sh 

  1. [root@hadoop01 /bigdata]# cd /bigdata/hbase/conf/
  2. [root@hadoop01 /bigdata/hbase/conf]# vim hbase-env.sh
  3. # 关闭 hbase 自带zk,使用自己搭建的 zookeeper 集群
  4. export HBASE_MANAGES_ZK=false
  5. # 设定 hbase 的内存为 2G,生产环境中可开启设置
  6. #export HBASE_HEAPSIZE=2G
  7. # 增加系统环境配置, 必须在/etc/profile定义JAVA_HOME
  8. source /etc/profile
  9. export JAVA_HOME=/usr/java/jdk1.8.0_381
  10. # 存放 PID 文件的目录
  11. export HBASE_PID_DIR=/bigdata/hbase/pids
  12. # 避免 master 启动报错类冲突
  13. export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true"

1.4.2 hbase-site.xml

  1. [root@hadoop01 /bigdata/hbase/conf]# vim hbase-site.xml
  2. <!-- hbase 在 hdfs 中的存储位置, 如果 hdfs 是 ha 模式, 那就把 hadoop01 换成逻辑集群名(比如我的是 mycluster,可在你的 hadoop 配置文件 core-site.xml 查看) 并且创建 hdfs-site.xml 软连接 -->
  3. <!-- hbase 在 hdfs 中的存储位置 -->
  4. <property>
  5. <name>hbase.rootdir</name>
  6. <value>hdfs://hadoop01/hbase</value>
  7. </property>
  8. <!-- 开启 hbase 的全分布式 -->
  9. <property>
  10. <name>hbase.cluster.distributed</name>
  11. <value>true</value>
  12. </property>
  13. <!-- zookeeper 的端口号 -->
  14. <property>
  15. <name>hbase.zookeeper.property.clientPort</name>
  16. <value>2181</value>
  17. </property>
  18. <!-- zookeeper 集群的主机名 -->
  19. <property>
  20. <name>hbase.zookeeper.quorum</name>
  21. <value>hadoop01,hadoop02,hadoop03</value>
  22. </property>
  23. <!-- hbase 的临时文件存储路径 -->
  24. <property>
  25. <name>hbase.tmp.dir</name>
  26. <value>/bigdata/hbase/tmpdata</value>
  27. </property>
  28. <!-- 开启配置防止 hmaster 启动问题 -->
  29. <property>
  30. <name>hbase.unsafe.stream.capability.enforce</name>
  31. <value>false</value>
  32. </property>
  33. <!-- 监控页面端口 -->
  34. <property>
  35. <name>hbase.master.info.port</name>
  36. <value>60010</value>
  37. </property>

1.4.3 regionservers 

  1. [root@hadoop01 /bigdata/hbase/conf]# vim regionservers
  2. hadoop01
  3. hadoop02
  4. hadoop03

1.4.4 创建目录

  1. [root@hadoop01 ~]# mkdir -p /bigdata/hbase/tmpdata
  2. # 如果 hadoop 是集群模式(HA 模式),则执行以下步骤
  3. (base) [root@hadoop01 ~]# ln -s /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop/core-site.xml /bigdata/hbase/conf/core-site.xml
  4. (base) [root@hadoop01 ~]# ln -s /bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop/hdfs-site.xml /bigdata/hbase/conf/hdfs-site.xml

1.5 HBase 远程发送到其他节点

  1. [root@hadoop01 ~]# scp -r /bigdata/hbase 192.168.170.137:/bigdata/hbase
  2. [root@hadoop01 ~]# scp -r /bigdata/hbase 192.168.170.138:/bigdata/hbase
  3. # 并修改 /etc/profile 环境变量(其他节点),同 1.3 的步骤一样

1.6 HBase 服务的启动 

1.6.1 单点启动(推荐)

  1. # 只启动本节点 master
  2. hbase-daemon.sh start master
  3. # 启动所有从节点
  4. hbase-daemon.sh start regionserver

1.6.2 群启

  1. # 只启动本机器的 master 和所有机器的从节点, 不推荐, 推荐使用 daemon 脚本
  2. start-hbase.sh
  3. [root@hadoop01 ~]# jps
  4. 1264 RunJar
  5. 2512 JournalNode
  6. 1442 RunJar
  7. 2212 DataNode
  8. 2789 DFSZKFailoverController
  9. 3189 ResourceManager
  10. 1734 QuorumPeerMain
  11. 3382 NodeManager
  12. 7368 HMaster
  13. 2028 NameNode
  14. 7614 HRegionServer
  15. 7711 Jps

1.6.2 停止服务

  1. # 只停止本节点的 master 和所有节点的 regionserver
  2. stop-hbase.sh

1.7 查看 HBase 页面 

启动成功后,可以通过 “192.168.170.136:60010” 的方式来访问 HBase 管理页面,例如:

1.8 高可用(推荐)

        在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期,均衡 RegionServer 的负载,如果 HMaster 挂掉了,那么整个 HBase 集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。

  1. # 可以随意选择任意一个节点作为 Backup Master,这里我以 hadoop02节点
  2. (base) [root@hadoop02 /bigdata/hbase/conf]# hbase-daemon.sh start master
  3. (base) [root@hadoop02 /bigdata/hbase/conf]# jps
  4. 1570 DataNode
  5. 35123 Jps
  6. 1701 JournalNode
  7. 34694 HRegionServer
  8. 1865 DFSZKFailoverController
  9. 2009 ResourceManager
  10. 2121 NodeManager
  11. 1338 QuorumPeerMain
  12. 1466 NameNode
  13. 35050 HMaster

访问 Backup Master 页面:192.168.170.137:60010

刷新 hadoop01 页面:

至此 HBase 高可用集群部署完毕! 

二、HBase 集群扩缩容

在新节点初始化并拷贝安装目录。

  1. # 在新节点启动 master
  2. hbase-daemon.sh start regionserver
  3. # 修改各节点的 conf/regionservers,增加新节点的 ip
  4. vi conf/regionservers
  5. # 进入 hbase shell, 开启重新分配 region 数据, 这是hbase的一个周期性工作, 默认 5 分钟
  6. hbase shell
  7. balance_switch true
  8. # 执行命令查看当前 hbase 的负载均衡 balance 是否开启
  9. # 注意这个命令没有写错, 不是 balance_switch status, status 是将 balance 状态强制转换为 false
  10. balancer_enabled
  11. # 立即进行一次均衡操作
  12. # 当前各节点的 region 数量可以在前端页面查看
  13. balancer

上一篇文章:HBase 详细图文介绍-CSDN博客

下一篇文章:HBase shell 基础实操-CSDN博客

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/622468
推荐阅读
相关标签
  

闽ICP备14008679号