赞
踩
掌握完全分布模式的整合平台中HBase的高可用完全分布模式的安装
1、完成HBase的高可用完全分布模式的安装
2、HBase的相关服务进程能够正常启动
3、HBase控制台能够正常使用
4、表创建、数据查询等数据库操作能够正常进行
5、掌握数据库的基本使用操作
6、HBase数据库语句的使用
1、五台独立PC机或虚拟机
2、主机之间有有效的网络连接
3、每台主机内存2G以上,磁盘剩余空间500M以上
4、所有主机已安装CentOS 7.4操作系统
5、所有主机已完成网络属性配置
6、所有主机已安装JDK
7、已完成Zookeeper集群的安装和部署
8、已完成Hadoop集群得安装和部署
9、HBase完全分布部署完成
选用Hbase的1.2.3版本,软件包名为hbase-1.2.3-bin.tar.gz
HBase有主节点何Region节点2类服务节点,高可用完全分布模式中需要满足主节点有备用得基本要求,所以需要两台或以上得主机作为主节点,而完全分布模式中需要满足Region有备份何数据处理能够分布并行得基本要求,所以要求两台或以上得主机作为Region节点,具体规划如下:
*该项所有操作步骤使用专门用于集群的用户admin进行
*此项只在一台主机操作,然后在下一步骤进行同步安装于配置。
1.1上传HBase软件包“hbase-1.2.3-bin.tar.gz”到用户家目录的“setups”目录下。然后进行解压和环境变量设置。
1.2创建用于存放HBase相关文件的目录并且进入该目录将软件包解压
1.3配置HBase的相关环境变量
1.4使新配置的环境变量立即生效,查看新添加和修改的环境变量是否设置成功,以及环境变量的值是否正确
*该项的所有操作步骤使用专门用于集群的用户admin进行
2.1进入Hbase相关文件的目录,分别创建HBase的得元数据文件目录“tmp”何HDFS得日志文件目录“logs”。
2.2进入Hbase的配置文件所在目录,对配置文件进行修改。
2.3对配置文件进行修改。
$vi hbase-site.xml
找到标签“”所在的位置,在其添加如下内容:
2.4删除文件中原有所有内容,然后添加集群中所有RegionServer节点得主机名,每行一个主机的主机名,配置如下:
2.5创建配置文件“backup-masters”。
2.6修改配置文件,添加集群中所有备用主节点得主机名,每行一个主机得主机名,配置格式如下:
*该项的所有操作步骤使用专门用于集群的用户admin进行
3.1将“hbase”目录和“.bash_profile”文件发给集群中所有主机,发送目标用户为集群专用用户admin,发送目标路径为“/home/admin”,即集群专用用户admin的家目录。然后每台执行source ~/.bash_profile使环境变量生效。
3.2在每台主机或虚拟机上,使用命令“echo $ZOOKEEPER_HOME”、“echo $PATH”、“hbase version”查看新添加和修改的环境变量是否设置成功,以及环境变量的值是否正确,验证Hadoop的安装配置是否成功。
$echo $ZOOKEEPER_HOME
$echo $PATH
$hbase version
3.3在集群中所有主机上使用命令“date -s ‘yyyy-MM-dd HH:mm:ss(年-月-日 时:分:秒)’”对系统时间进行设置,并使用命令:hwclock -w:将设置得时间同步到硬件时钟。
*时间同步项的所有操作步骤需要使用root用户进行。
*该操作尽量在所有主机上同时进行,从而保证主机之间的时间误差值在设定的“hbase.master.maxclockskew”范围内。
3.4开启虚拟节点的时间同步
*该项的所有操作步骤使用专门用于集群的用户admin进行
*启动HBase集群之前首先确保Zookeeper集群已被开启状态。(实验5台)
Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果家目录下执行启动报错,则需要进入zookeeper/bin目录执行启动命令。
*启动HBase集群之前首先确保Hadoop集群已被开启状态。(实验5台)
Hadoop只需要在主节点执行启动命令。
4.1在集群中所有主机上查看该节点Zookeeper服务当前的状态,若集群中只有一个“leader”节点,其余均为“follower”节点,则集群的工作状态正常。如果Zookeeper未启动,则在集群中所有主机上使用命令“./zkServer.sh start”启动Zookeeper服务的脚本。在主节点使用命令“start-all.sh”,启动Hadoop集群。在所有备用主节点的主机,使用命令“yarn-daemon.sh start resourcemanager”,启动YARN主节点服务.确定Hadoop集群已开启状态,然后再主节点使用命令“start-hbase.sh”,启动HBase集群
$./zkServer.sh status
$./zkServer.sh start
$jps
$start-all.sh
$yarn-daemon.sh start resourcemanager
$start-hbase.sh
4.2查看Java进程信息
4.2.1在主节点和备用主节点使用命令“jps”查看Java进程信息,若有名为“HMaster”的进程,则表示HBase集群的主节点和备用主节点启动成功。
4.2.2使用命令“ssh 目标主机名或IP地址”远程登录到所有Region节点主机,使用命令“jps”查看Java进程信息,若有名为“HRegionServer”进程,则表示HBase集群的Region节点启动成功。
4.3进入HBase的控制台,在控制台中使用命令“create ‘表名’,‘列名1’,‘列名2’,…”创建表。命令“exit”退出控制台返回系统命令界面。
5.1新建表空间
5.2将以下几位同学的成绩单的数据写入到Hbase。
5.3建立一个个表和列族(默认表空间)
5.4按设计的表结构插入值
5.5扫描所有数据
出现的问题:HMaster服务启动起来过一会就消失了
解决方案:修改5台主机的配置文件hbase-site.xml,将hdfs://Cluter-01改为Cluter-02
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。