HBase 在分布式模式下的配置_配置hbase-site.xml(完全分布式)

HBase 在分布式模式下的配置

前言

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，是谷歌BigTable的开源实现，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价的计算机集群处理由超过10个亿行数据和数百万列元素组成的数据表。

一、环境

介绍HBase的安装方法，并介绍HBase在分布式模式下的配置。需要以下环境：VirtualBox 6.1.14, Ubuntu 16.04。

二、配置步骤

1.安装HBase
HBase是Hadoop生态系统中的一个组件，但是，Hadoop安装以后，本身并不包含HBase，因此，需要单独安装HBase。

打开网页：https://dblab.xmu.edu.cn/post/bigdatapractice2/

找到下载专区，下载HBase安装文件hbase-1.1.5-bin.tar.gz。再通过WinSCP软件上传到Linux系统的"/home/hadoop/下载"目录下。

打开一个终端，执行如下命令对文件进行解压：

sudo  tar  -zxf  ~/下载/hbase-1.1.5-bin.tar.gz  -C  /usr/local
1

将解压的文件名hbase-1.1.5改为hbase以方便使用，命令如下：

sudo  mv  /usr/local/hbase-1.1.5  /usr/local/hbase
1

将HBase安装目录下的bin目录添加到系统的PATH环境变量中，这样每次启动HBase就不需要到/usr/local/hbase目录下执行启动命令，方便HBase的使用。使用vim编辑器打开~/.bashrc文件，命令如下：

 vim ~/.bashrc
1

打开bashrc文件后，把HBase的bin目录/usr/local/hbase/bin加到PATH中，新加结果如下：

 export PATH=$PATH:/usr/local/hbase/bin
1

添加后执行如下命令是设置生效：

 source ~/.bashrc
1

需要为当前登录Linux系统的hadoop用户添加访问HBase目录的权限，将HBase安装目录下的所有文件的所有者改为hadoop，命令如下：

cd  /usr/local
sudo  chown  -R  hadoop  ./hbase
1
2

可以通过如下命令查看HBase版本信息，以确认HBase以及安装成功：

hbase version
1

执行上述命令以后，如果出现下图所示信息，则说明安装成功。

2.HBase的配置
HBase有3种运行模式，即单机模式、伪分布式模式和分布式模式。

本文仅介绍分布式模式下HBase的配置。

每台主机都预先安装好JDK，且配置好/etc/hosts文件。每台主机都完成了上述HBase安装工作。

执行如下命令修改hbase-env.sh文件：

cd /usr/local/hbase/conf
sudo vim hbase-env.sh
1
2

找到其中JAVA_HOME，HBASE_CLASSPATH，HBASE_MANAGES_ZK进行配置。

其中，JAVA_HOME后面加JDK的安装路径，HBASE_CLASSPATH是HBase安装目录下的conf目录路径，HBASE_MANAGES_ZK后接true。

然后使用vim打开并编辑hbase-site.xml，命令如下：

vim hbase-site.xml
1

在文件最后两行之间添加如下内容

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave01,slave02</value>
    </property>
    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

接下来修改regionservers文件，执行如下命令：

sudo vim regionservers
1

将里面的内容修改为如下内容：

master
slave1
slave2
1
2
3

将Hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到HBase的配置文件目录中，执行如下命令：

cp /usr/local/hadoop/etc/hadoop/core-site.xml /usr/local/hbase/conf
cp /usr/local/hadoop/etc/hadoop/hdfs-site.xml /usr/local/hbase/conf
1
2

将master中HBase的多个配置文件远程拷贝到另外两台虚拟机slave1和slave2，执行如下命令：

在主机执行：

scp hbase-env.sh hbase-site.xml core-site.xml hdfs-site.xml regionservers slave1:/usr/local/hbase/conf
scp hbase-env.sh hbase-site.xml core-site.xml hdfs-site.xml regionservers slave2:/usr/local/hbase/conf
1
2

分别在slave1和slave2执行：

sudo scp /etc/profile slave1:/etc/profile
sudo scp /etc/profile slave2:/etc/profile
1
2

上述操作完成后，启动HBase，执行如下命令：

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
start-hbase.sh
1
2
3
4

输入命令jps，看到以下界面说明hbase启动成功