Hbase集群部署_master 和 slaver都是standby

前要说明

1.集群说明

Hbase在完全分布式环境下，由Master进程负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper负责集群元数据的维护并且监控集群的状态以防止单点故障，每个RegionServer会负责具体数据块的读写，HBase所有的数据存储在HDSF系统上。

 

master slaver1 slaver2 slaver3 master1主机名（需要现有的主机名替换）

 

2.版本说明

版本：当前Ubuntu系统，jdk1.7.0_55

Hadoop选的最新稳定版：hadoop-2.7.3  t：16.8.26

Zookeeper选的最新稳定版：zookeeper-3.4.10  t:16.9.3

Hbase最新稳定版：hbase-1.2.5  t:16.10.26

理论上说，这是套系统，从时间更新的情况看也是这样，但是具体是否兼容或有问题得实际搭建看情况。

附加：CDH版本，目前主流生产环境都用这个，连网的情况，只需下个客户端，其他自动给配置，问题相对少很多，基本功能免费，高级功能收费。但是一般情况基本功能就可以，选择的换肯定是CDH5，但是具体哪个5点几没有研究过（理论上说应该都可以）

3.所有服务器环境配置说明

1.基本要求，为方便配置要求所有机器的所有安装路径文件路径及用户名

解压命令：

tar zxvf jdk-7u80-linux-x64.tar.gz 解压jdk

tar zxvf zookeeper-3.4.10.tar.gz 解压zk

tar zxvf hadoop-2.7.3.tar.gz 解压hadoop

tar zxvf hbase-1.2.5-bin.tar.gz 解压hbase

 

安装顺序jdk，zk，hadoop，hbase

启动顺序zk，hadoop，hbase

关闭顺序hbase，hadoop，zk

2.修改/etc/profile文件

即添加环境变量

在最后添加如下内容：

#java

export JAVA_HOME=/home/hadoop/jdk1.7.0_80

export PATH=$JAVA_HOME/bin:$PATH

 

#zk

export ZOOKEEPER=/home/hadoop/zookeeper-3.4.10

export PATH=$ZOOKEEPER/bin:$PATH

#hadoop

export HADOOP_HOME=/home/hadoop/hadoop-2.7.3

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#hbase

export HBASE_HOME=/home/hadoop/hbase-1.2.5

export PATH=$HBASE_HOME/bin:$PATH

 

执行source /etc/profile是环境变量生效

 

如果使用export PATH=$PATH: $JAVA_HOME/bin需切换jdk版本

$ sudo update-alternatives –install /usr/bin/javah javah /home/hadoop/jdk1.7.0_80/bin/javah
$ sudo update-alternatives –install /usr/bin/javac javac/home/hadoop/jdk1.7.0_80/bin/javac

$ sudo update-alternatives –install /usr/bin/javaws javaws /home/hadoop/jdk1.7.0_80/bin/javaws
$ sudo update-alternatives –install /usr/bin/java java /home/hadoop/jdk1.7.0_80/bin/java
$ sudo update-alternatives –install /usr/bin/jar jar/home/hadoop/jdk1.7.0_80/bin/jar

$ sudo update-alternatives –config java
$ sudo update-alternatives –config javac
$ sudo update-alternatives –config javah
$ sudo update-alternatives –config jar

 

3 配置host 

配置所有机器主机名及ip地址

修改/etc/hosts 

将127的ip全部用#注掉

并添加下面内容：

192.168.1.171          master

192.168.1.172          slaver1

192.168.1.173    slaver2

192.168.1.174    slaver3

192.168.1.175    master1

4建立ssh无密码登录 

 为了方便起见，所有机器都为无密码访问：

https://blog.csdn.net/dawn_rainbow/article/details/83746525

Zookeeper集群部署：

1）创建配置文件conf/zoo.cfg

mv zoo_sample.cfg zoo.cfg 

2）更改conf/zoo.cfg的内容

# ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的

tickTime=2000 

#Leader-Follower初始通信时限, Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。Leader允许Follower在 initLimit 时间(10*tickTime)内完成这个工作

initLimit=10 

#Leader-Follower同步通信时限,在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的存活状态。如果L发出心跳包在syncLimit(2*tickTime)之后，还没有从F那里收到响应，那么就认为这个F已经不在线了。注意：不要把这个参数设置得过大，否则可能会掩盖一些问题

syncLimit=2 

#存储快照文件snapshot的目录。默认情况下，事务日志也会存储在这里。建议同时配置参数dataLogDir, 事务日志的写性能直接影响zk性能（在启动zk前要建好这个目录）

dataDir= /home/hadoop/data/zookeeper

#客户端连接端口

clientPort=2181

#服务器名称与地址：集群信息（服务器编号，服务器地址，LF通信端口，选举端口）必须为奇数个服务器（本机用0.0.0.0）