大数据：HBase 集群搭建（master、slave1和slave2）_master,slave1,slave2

---

HBase 简介

大数据的概念在不断地发酵，进入这个领域的人越来越多。在大数据的领域内，HBase的概念已成为企业和求学者都需要关注的一个重点。

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

与FUJITSU Cliq等商用大数据产品不同，HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

HBASE 安装环境搭建

一，环境配置

需要搭建三个节点：1个主节点，2个从节点。在配置前需要配置好虚拟机网络静态IP，同步时间，关闭防火墙和使用Linux SSH（安全Sheel）。按照下面设立的Linux环境提供的步骤，本次采用的系统为centos-7-x86_64、单核、2GB内存。其三个节点分别取名为master、slave1和slave2。

（1）配置虚拟机网络模式

1.虚拟机网络模式设置为NET模式。选中master节点，右击，在弹出的快捷菜单中选“设置”命令。在“虚拟机设置-硬件-网络适配器”中进行设置。

2.使用命令reboot重启系统。

（2）配置虚拟机静态IP

1.配置虚拟机网络同样的网段，选择“编辑”——“虚拟网络编辑器”命令进行配置。

2.进入编辑器之后，设置DHCP的子网IP为192.168.130.128~254。

3.NAT设置网关为192.168.130.2

4.配置centos 7系统的静态ip。

(1) 修改主机名

命令1：hostnamectl set hostname master
命令2：vi /etc/sysconfig/network
修改内容如下：
#created by anaconda
NETWORKING=yes
HOSTNAME=master

(2) 修改IP地址

• 修改网卡配置

命令：vi /etc/sysconfig/network-scripts/ ifcfg-ens33

修改内容

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=583eeb6a-d778-4a01-8f70-f8077741b9e8
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.130.130
NETMASK=255.255.255.0
PREFIX=24
GATEWAY=192.168.130.2
DNS1=192.168.130.2
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

• 重启网络服务

命令：systemctl restart network

(3) 修改IP地址和主机名的映射关系

命令：vi /etc/hosts

192.168.130.130 master
192.168.130.131 slave1
192.168.130.132 slave2
1
2
3

• 关闭防火墙

命令：

systemctl stop firewalld.service
systemctl disable firewalld.service
1
2

（3）SSH设置和密钥生成

SSH设置需要在集群上执行不同的操作，如启动、停止和分布式守护Shell操作。进行身份验证不同的Hadoop用户，需要一种用于Hadoop的用户提供的公钥/私钥对，并使不同的用户共享。以下的命令用于生成使用SSH密钥值对。复制公钥id_rsa.pub为authorized_keys，并提供所有者，读写权限到authorized_keys文件。
命令：

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/ .ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
1
2
3

验证SSH：ssh localhost

二，Java安装

Java是应用Hadoop和Hbase的主要决定条件。首先应该使用java -version命令检查java是否存在系统中。

安装步骤
1.可以通过访问以下链接下载jdk-8u211-linux-x64.tar.gz。https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html。

2.安装JDK。将下载的jdk-8u211-linux-x64.tar.gz（版本自选）文件上传到centos7系统目录/opt/software下。使用下面的命令提取到目录/opt/module中。

命令：tar -zxvf jdk-8u211-linux-x64.tar.gz -C /opt/module/

设置环境变量：vi /etc/profile

添加内容：

export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin
1
2

刷新环境变量命令：source /etc/profile

测试安装是否成功：java -version

三，Hbase安装

（1）下载hbase

1.进入hbase官网
2.单击download下的here

3.进入下图页面，下拉找到Apache Archive，并单击它

4.进入下图所示页面，此页面可下hbase已存在的所有版本

5.这里选择2.5.0/，单击它

6.单击 hbase-2.5.0-bin.tar.gz ，开始下载

7.下载示例

8.下载hbase-2.5.0.tar.gz，上传到master的目录/opt/software下。通过以下命令解压到目录/opt/module中。

tar -zxvf hbase-2.5.0.tar.gz -C /opt/module/
1

（2）配置hbase环境变量

在/etc/profile文件最后追加相关内容。

vi /etc/profile
1

追加内容如下：

# HBASE_HOME环境变量
export HBASE_HOME=/opt/module/hbase-2.5.0
export PATH=$PATH:$HBASE_HOME/bin
1
2
3

（3）修改HBase的配置文件

注：下列配置文件均在/opt/hbase-2.5.0/conf目录下

1.hbase-site.xml文件：

<configuration>
  <property>
    <!-- Hbase Web UI 登录 -->
    <name>hbase.master.info.port</name>
    <value>60010</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/module/hbase-2.5.0/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <!-- Hbase写入数据的目录 -->
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase </value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property> 
    <!-- list of zookeeper -->
　　<name>hbase.zookeeper.quorum</name>
　  <value>master,slave1,slave2</value> 
　</property> 　　　 
  <property>
    <!--zookooper配置、日志等的存储位置 -->
　　<name>hbase.zookeeper.property.dataDir</name>
　　<value>/opt/module/hbase-2.5.0/zookeeper</value>
　</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

2.hbase-env.sh文件：

export JAVA_HOME=/opt/module/jdk1.8.0_221
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true
1
2

3.regionservers:

master
slave1 
slave2
1
2
3

四，配置Hbase集群

（1）将master的hbase分发到slave1和slave2

scp -r /opt/module/hbase-2.5.0 slave1:/opt/module
scp -r /opt/module/hbase-2.5.0 slave2:/opt/module
1
2

（2）添加salve1和slave2的hbase环境变量

slave1和slave2，输入命令：vi /etc/profile

# HBASE_HOME环境变量
export HBASE_HOME=/opt/module/hbase-2.5.0
export PATH=$PATH:$HBASE_HOME/bin
1
2
3

（3）启动、停止HBase集群

启动命令：

$ start-hbase.sh
1

停止命令：

$ stop-hbase.sh
1