当前位置:   article > 正文

大数据:HBase 集群搭建(master、slave1和slave2)_master,slave1,slave2

master,slave1,slave2


HBase 简介

大数据的概念在不断地发酵,进入这个领域的人越来越多。在大数据的领域内,HBase的概念已成为企业和求学者都需要关注的一个重点。

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
在这里插入图片描述

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

与FUJITSU Cliq等商用大数据产品不同,HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。

HBASE 安装环境搭建

一,环境配置

需要搭建三个节点:1个主节点,2个从节点。在配置前需要配置好虚拟机网络静态IP,同步时间,关闭防火墙和使用Linux SSH(安全Sheel)。按照下面设立的Linux环境提供的步骤,本次采用的系统为centos-7-x86_64、单核、2GB内存。其三个节点分别取名为master、slave1和slave2。

(1)配置虚拟机网络模式

1.虚拟机网络模式设置为NET模式。选中master节点,右击,在弹出的快捷菜单中选“设置”命令。在“虚拟机设置-硬件-网络适配器”中进行设置。
在这里插入图片描述

2.使用命令reboot重启系统。

(2)配置虚拟机静态IP

1.配置虚拟机网络同样的网段,选择“编辑”——“虚拟网络编辑器”命令进行配置。
在这里插入图片描述

2.进入编辑器之后,设置DHCP的子网IP为192.168.130.128~254。
在这里插入图片描述
3.NAT设置网关为192.168.130.2
在这里插入图片描述

4.配置centos 7系统的静态ip。

(1) 修改主机名

命令1:hostnamectl set hostname master
命令2:vi /etc/sysconfig/network
修改内容如下:
#created by anaconda
NETWORKING=yes
HOSTNAME=master

(2) 修改IP地址

  • 修改网卡配置

命令:vi /etc/sysconfig/network-scripts/ ifcfg-ens33

修改内容

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=583eeb6a-d778-4a01-8f70-f8077741b9e8
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.130.130
NETMASK=255.255.255.0
PREFIX=24
GATEWAY=192.168.130.2
DNS1=192.168.130.2
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 重启网络服务

命令:systemctl restart network

(3) 修改IP地址和主机名的映射关系

命令:vi /etc/hosts

192.168.130.130 master
192.168.130.131 slave1
192.168.130.132 slave2
  • 1
  • 2
  • 3
  • 关闭防火墙

命令:

systemctl stop firewalld.service
systemctl disable firewalld.service
  • 1
  • 2

(3)SSH设置和密钥生成

SSH设置需要在集群上执行不同的操作,如启动、停止和分布式守护Shell操作。进行身份验证不同的Hadoop用户,需要一种用于Hadoop的用户提供的公钥/私钥对,并使不同的用户共享。以下的命令用于生成使用SSH密钥值对。复制公钥id_rsa.pub为authorized_keys,并提供所有者,读写权限到authorized_keys文件。
命令:

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/ .ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
  • 1
  • 2
  • 3

验证SSH:ssh localhost

二,Java安装

Java是应用Hadoop和Hbase的主要决定条件。首先应该使用java -version命令检查java是否存在系统中。

安装步骤
1.可以通过访问以下链接下载jdk-8u211-linux-x64.tar.gz。https://www.oracle.com/java/technologies/javase/javase8u211-later-archive-downloads.html
在这里插入图片描述

2.安装JDK。将下载的jdk-8u211-linux-x64.tar.gz(版本自选)文件上传到centos7系统目录/opt/software下。使用下面的命令提取到目录/opt/module中。

命令:tar -zxvf jdk-8u211-linux-x64.tar.gz -C /opt/module/

设置环境变量:vi /etc/profile

添加内容:

export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin
  • 1
  • 2

刷新环境变量命令:source /etc/profile

测试安装是否成功:java -version

三,Hbase安装

(1)下载hbase

1.进入hbase官网
在这里插入图片描述2.单击download下的here
在这里插入图片描述

3.进入下图页面,下拉找到Apache Archive,并单击它
在这里插入图片描述

4.进入下图所示页面,此页面可下hbase已存在的所有版本
在这里插入图片描述

5.这里选择2.5.0/,单击它
在这里插入图片描述

6.单击 hbase-2.5.0-bin.tar.gz ,开始下载
在这里插入图片描述

7.下载示例
在这里插入图片描述

8.下载hbase-2.5.0.tar.gz,上传到master的目录/opt/software下。通过以下命令解压到目录/opt/module中。

tar -zxvf hbase-2.5.0.tar.gz -C /opt/module/
  • 1

(2)配置hbase环境变量

在/etc/profile文件最后追加相关内容。

vi /etc/profile
  • 1

追加内容如下:

# HBASE_HOME环境变量
export HBASE_HOME=/opt/module/hbase-2.5.0
export PATH=$PATH:$HBASE_HOME/bin
  • 1
  • 2
  • 3

(3)修改HBase的配置文件

注:下列配置文件均在/opt/hbase-2.5.0/conf目录下

1.hbase-site.xml文件:

<configuration>
  <property>
    <!-- Hbase Web UI 登录 -->
    <name>hbase.master.info.port</name>
    <value>60010</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/module/hbase-2.5.0/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <property>
    <!-- Hbase写入数据的目录 -->
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase </value>
  </property>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property> 
    <!-- list of zookeeper -->
  <name>hbase.zookeeper.quorum</name>
   <value>master,slave1,slave2</value> 
 </property>     
  <property>
    <!--zookooper配置、日志等的存储位置 -->
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/opt/module/hbase-2.5.0/zookeeper</value>
 </property>
</configuration>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34

2.hbase-env.sh文件:

export JAVA_HOME=/opt/module/jdk1.8.0_221
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP=true
  • 1
  • 2

3.regionservers:

master
slave1 
slave2
  • 1
  • 2
  • 3

四,配置Hbase集群

(1)将master的hbase分发到slave1和slave2

scp -r /opt/module/hbase-2.5.0 slave1:/opt/module
scp -r /opt/module/hbase-2.5.0 slave2:/opt/module
  • 1
  • 2

(2)添加salve1和slave2的hbase环境变量

slave1和slave2,输入命令:vi /etc/profile

# HBASE_HOME环境变量
export HBASE_HOME=/opt/module/hbase-2.5.0
export PATH=$PATH:$HBASE_HOME/bin
  • 1
  • 2
  • 3

在这里插入图片描述

(3)启动、停止HBase集群

启动命令:

$ start-hbase.sh
  • 1

在这里插入图片描述

停止命令:

$ stop-hbase.sh
  • 1

在这里插入图片描述

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号