当前位置:   article > 正文

Hadoop完全分布式安装步骤

hadoop完全分布式安装

文章目录

第一节:新建虚拟机

1、配置类型为“自定义”

如图1.01所示
图1.01

2、安装来源为“稍后安装操作系统”

如图1.02所示图1.02

3、客户机和版本分别为“Linux”和“CenOs7 64位”

如图1.03所示
图1.03

4、命名虚拟机

这里可以根据个人习惯来命名,注意不要用中文,位置自己选择一个,最好不要用默认位置!如图1.04所示图1.04

5、处理器配置

这里我们不需要太多的处理器数量和内核数量,一般在2~4个就行了。
如图1.05所示
图1.05

6、虚拟机的内存

这个是虚拟机的运行内存,只要小于自己电脑的运行内存就行,尽量不要太接近,这里我们就选4G就够了! 如图1.06所示
图1.06

7、网络类型

使用网络地址转换(NAT) 如图1.07所示
图1.07

8、磁盘大小

这个大小选择50G就差不多了,不用担心这个占主机内存的多少50G差不多也就占用主机内存的2G左右;选择将虚拟磁盘才分成多个文件
如图1.08所示
图1.08

9、安装系统

1、下一步

配置完磁盘大小以后我们点击下一步,之后我们找到刚刚建立的虚拟机名称编辑虚拟机设置,

2、点击 CD/DVD 进入查找系统镜像文件

(如图1.09所示)

3、点击使用镜像文件

这里我们就可以浏览下载好的CentOS 7 64位镜像文件,最后点击确定*(如图1.10所示)*图1.09

图1.10

4、开启虚拟机进入安装界面

我们把鼠标放进界面去。然后上下键选择第一个简单安装*(如图1.11所示)*图1.11

5、语言选择

我们找到最下面的中文,然后带你就继续*(如图1.12所示)*
图1.12

6、选择安装位置

我们选择安装位置进入下一个界面*(如图1.13所示)*
图1.13

7、选择“我要配置分区”

然后点击完成,如图1.14所示
图1.14

8、在手动分区界面选择“点击这里自动创建他们”

如图1.15所示
图1.15

9、点击完成即可

如图1.16所示
图1.16

10、开始配置网络

如图1.17所示图1.17

11、开启连接和点击配置来配置网络

如图1.18所示图1.18

12、编辑ens 33

这里我们选择IPv4设置,方法:选择手动 地址:我们点击“Add”添加,然后设置
地址为:192.168.1.100
子网掩码为:255.255.255.0
网关为:192.168.1.5
DNS服务器为:8.8.8.8
最后点击保存,如图1.19所示
图1.19

13、点击开始安装

下一个界面我们要设置一下自己的root用户和密码;在点击创建用户,创建一个自己的用户,名字最好用英文,设置密码
等待安装之后输入用户名称回车、输入密码回车登录 (如图1.20所示)
图1.20

14、设置静态IP

先在命令行窗口输入

ip addr 
  • 1

查看IP是否为我们设置的,然后在输入

vi /etc/sysconfig/network-scripts/ifcfg-ens33
  • 1

图1.21

进入文本编辑,之后我们把BOOTPROTO中的none修改为static 然后按键盘上的Esc键在按“Shift+:”输入:wq
之后就保存退出了*(如下图所示)*
图1.22
重启网络:输入

service network restart
  • 1

如图1.22所示
图1.22
到这里我们的虚拟机中安装操作系统就完成啦

第二节:Hadoop集群搭建步骤

一.网络配置(每台虚拟机都要搞)

1.ping www.baidu.com //检测是否开启网络

2.service network restart //如果网络未开启,使用此代码重启网络

3.修该ip地址

1.cd  /etc/sysconfig/network-scripts/

2.vi  /ifcfg-ens33
3.	BOOTPROTO=static
	ONBOOT=yes
	IPADDR=192.168.***.10  //***处是你的IP地址
	NETMASK=255.255.255.0 #子网掩码
	GATEWAY=192.168.***.2 #网关地址  ***与上面的ip一致
	DNS1=8.8.8.8
4.service network restart   //修改完之后重启网络
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

4.关闭防火墙

1.systemctl stop firewalld			//关闭防火墙
2.systemctl disable firewalld		//禁止防火墙重启后在开启
3.systemctl status firewalld		//检测防火墙是否关闭
  • 1
  • 2
  • 3

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QRgvJBUo-1630130370579)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623221402273.png)]

5.修改主机名

方法一:

1.hostnamectl set-homename + 主机名	//主机名随你输入
2.hostname     	//检测是否修改了,未修改输入reboot重启
  • 1
  • 2

方法二:

​ 在命令行里面输入下面的命令,在弹出的窗口里面找到修改主机名(这个界面可以修改IP、自己可以试着玩玩)

nmtui
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mBRu3OMP-1630130370581)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623221754028.png)]

6.设置IP映射

1.vi /etc/hosts  //修改内容如下
		
		192.168.***.10 主机名 //***输入的内容跟第三步一样
		192.168.***.11 第二个虚拟机的主机名
		192.168.***.12 第三个虚拟机的主机名
		
		ps.其他虚拟也要设置
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dyo4z49V-1630130370583)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623221851803.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LClnCfBB-1630130370587)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623222549048.png)]

二.xshell连接

1.安装yum插件

yum install lrzsz -y
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zFisDbyk-1630130370589)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623222718886.png)]

2.传入要安装的jdk与hadoop文件

先进入要存放jdk与hadoop的文件路径下直接将物理机上面的两个文件包拖到xshell当前界面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yrKKkT5f-1630130370590)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623224027736.png)]

三.jdk与hadoop的安装

1.安装jdk和Hadoop

1、查看centos7自带的已经安装的jdk
yum list installed | grep java
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M86Apjzy-1630130370591)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623224143655.png)]

2、删除老版本的Java
yum -y remove java-1.8.0-openjdk.x86_64
yum -y remove java-1.8.0-openjdk-headless.x86_64
  • 1
  • 2
3、查看是否删除
rpm -qa | grep java
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BBcwyJo1-1630130370592)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623224910828.png)]

4、安装jdk与hadoop

在自己上传Java和Hadoop的文件目录下输入下面代码

tar zxvf jdk(按tab键,系统自动给你匹配文件名) -C /opt/software/
  • 1

代码解释:”tar zxvf “是安装的意思,后面跟你要安装的软件路径和名称,“-C”为安装模式后面跟软件要安装的路径

2.配置JDK环境变量

1.先获取JDK路径

​ 进入安装安装Java输入下面的代码回车出现的就是Java安装路径(下面Hadoop获取安装路径也是同理)

pwd
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SH4bVKhl-1630130370593)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623225530730.png)]

2.打开/etc/profile文件
sudo vim /etc/profile
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VOWB1HRn-1630130370594)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623225846907.png)]

3.在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/opt/en/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
  • 1
  • 2
  • 3

注:“/opt/en/jdk1.8.0_144”是自己安装Java的路径和名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WuHJQCeP-1630130370595)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623225800677.png)]

4.让修改后的文件生效
source /etc/profile
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-23jQ1KBZ-1630130370595)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623225953402.png)]

5.测试JDK是否安装成功
java -version
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BhkSY0f4-1630130370596)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623230138683.png)]

3.配置hadoop环境变量

1.先获取hadoop路径
pwd
  • 1
2.打开/etc/profile文件
sudo vi /etc/profile
  • 1
3.在profile文件末尾添加hadoop路径
#HADOOP_HOME
export HADOOP_HOME=/opt/software/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
  • 1
  • 2
  • 3
  • 4

注:“/opt/en/hadoop-2.7.2”是自己安装Hadoop的路径和名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eWyirCky-1630130370597)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623230420760.png)]

4.让修改后的文件生效
source /etc/profile
  • 1
5. 测试是否安装成功
hadoop version
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HublkSux-1630130370598)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623230804126.png)]

四.免密(可做可不做)

1.ssh-keygen -b 1024 -t rsa(出现的内容不管什么都按回车)
2.cd ~/.ssh/
3.ls    (查看是否有id_rsa.pub)
4.ssh-copy-id 主机名	//每个虚拟机都要弄
5.ls	(查看是否有authorized-key)
6.chmod 600 authorized_keys(每个虚拟机都要输一次)
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

五、集群搭建

1、 hadoop5上配置集群

​ Hadoop文件配置前先进入hadoop-2.7.2下的etc目录下hadoop

cd /opt/software/hadoop-2.7.2/etc/hadoop
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EgaqgM2t-1630130370598)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623230938586.png)]

1.核心配置文件

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O1soVIAZ-1630130370599)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623233440479.png)]

1.配置core-site.xml
vi core-site.xml
  • 1

在标签"<configuration></configuration>"中添加下面的代码

<property>
	  <name>fs.defaultFS</name>
      <value>hdfs://hadoop5:9000</value>
</property>
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/en/hadoop-2.7.2/data/tmp</value>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

注:“<value>hdfs://hadoop5:9000</value>”中的“hadoop5”改为自己第一个机子的主机名

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zuK3ipoI-1630130370600)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623231529311.png)]

2.HDFS配置文件
1.配置hadoop-env.sh
vi hadoop-env.sh
  • 1

在文件末尾添加下面的代码

export JAVA_HOME=/opt/software/jdk1.8.0_144
  • 1

注:“/opt/en/jdk1.8.0_144”为自己安装Java的位置及其名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wQYKLz1g-1630130370600)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623231734952.png)]

2.配置hdfs-site.xml
vi hdfs-site.xml
  • 1

在标签"<configuration></configuration>"中添加下面的代码

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置(第二台主机名) -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>slave1:50090</value>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

注:“<value>hadoop6:50090</value>”中的hadoop6改为自己第二个自己的主机名

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ckPi260i-1630130370601)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623232222286.png)]

3.YARN配置文件
1.配置yarn-env.sh
vi yarn-env.sh
  • 1

再文件末尾添加下面代码

export JAVA_HOME=/opt/software/jdk1.8.0_144
  • 1

注:“/opt/en/jdk1.8.0_144”为自己安装Java的位置及其名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Sje24Luj-1630130370602)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623232420905.png)]

2.配置yarn-site.xml
vi yarn-site.xml
  • 1

在标签"<configuration></configuration>"中添加下面的代码

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址(第三台主机名) -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>slave2</value>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-k9ERBgUi-1630130370603)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623232632460.png)]

4.MapReduce配置文件
1.配置mapred-env.sh
vi mapred-env.sh
  • 1

再文件末尾添加下面代码

export JAVA_HOME=/opt/software/jdk1.8.0_144
  • 1

注:“/opt/en/jdk1.8.0_144”为自己安装Java的位置及其名称

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTkTkD3O-1630130370603)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623232753979.png)]

2.配置mapred-site.xml
1、先复制一个mapred-site.xml.template并改名为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nl0pPUak-1630130370604)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623232844839.png)]

2、编辑刚刚复制的文件mapred-site.xml
vi mapred-site.xml
  • 1

在标签"<configuration></configuration>"中添加下面的代码

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
  • 1
  • 2
  • 3
  • 4
  • 5

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qKFU3pNy-1630130370605)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210623232936970.png)]

5.配置slave文件
vi slave
  • 1

告诉集群有三台主机(在文件里写下面这几样多西,分别是自己创建的几个节点的名称)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hz5qnGLM-1630130370605)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624092655223.png)]

6.Hadoop6和hadoop7另外两台的同步集群配置
方法一:

在root用户下输入下面的代码传送回车、出现password表示输入hadoop6中root用户的密码、密码不会显示;当传输的界面跑完表示完成,另一台机子也是同样道理

scp -r /opt/software/hadoop-2.7.2 hadoop6:/opt/software/
  • 1

代码解释:“scp"拷贝的意思、”-r"表示权限(如果传送文件可以不用写)、"/opt/en/hadoop-2.7.2"表示hadoop-2.7.2的路径和名称、“hadoop6”表示要传去的主机名、“/opt/en/”传去的主机下的路径

方法二:
1.在/root目录下创建bin目录,并在bin目录下xsync创建文件
mkdir bin
cd bin/
touch xsync
 vi xsync
  • 1
  • 2
  • 3
  • 4
2.在该文件中编写如下代码
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if ((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=6; host<8; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -av $pdir/$fname $user@hadoop$host:$pdir
done

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
3.修改脚本 xsync 具有执行权限
chmod 777 xsync
  • 1
7.同步过程
1.在集群上分发配置好的Hadoop配置文件
xsync /opt/en/hadoop-2.7.2/
  • 1
2.查看文件分发情况
第一个hadoop  
cat /opt/en/hadoop-2.7.2/etc/hadoop/core-site.xml
第二个hadoop
cat /opt/en/hadoop-2.7.2/etc/hadoop/core-site.xml
  • 1
  • 2
  • 3
  • 4
8.集群启动
1.如果集群是第一次启动,需要格式化****NameNode
hdfs namenode -format
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-freCIlSi-1630130370606)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624084113289.png)]

2.在hadoop5上启动NameNode
hadoop-daemon.sh start namenode
jps
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c9BQBTFy-1630130370607)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624085354823.png)]

3.在hadoop5、hadoop6以及hadoop7上分别启动DataNode
hadoop5 
hadoop-daemon.sh start datanode
hadoop6
hadoop-daemon.sh start datanode
hadoop7
hadoop-daemon.sh start datanode
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
4.结果显示
hadoop5
     NameNode
     Jps
     DataNode    
hadoop6
     DataNode
     Jps
hadoop7
     DataNode
     Jps
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
5.启动YARN

这个在第三台主机上面启动

sbin/start-yarn.sh
  • 1

启动完成了之后查看结果是这样的

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O3PB4Z5g-1630130370608)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624092945238.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5iWS3wBn-1630130370608)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624092953496.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hF2RAKua-1630130370609)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624092959531.png)]

第三节:zookeeper的安装配置

一、解压zookeeper到指定位置

tar zxvf zookeeper(按tab键,系统自动给你匹配文件名) -C /opt/software/
  • 1

二、创建文件夹zkData

mkdir /opt/sofeware/zookeeper-3.4.10/zkData
  • 1

三、编辑配置文件

1、配置文件中的dataDir路径为zookeeper的数据路径

cd zookeeper-3.4.10/conf/
mv zoo_sample.cfg zoo.cfg
vim zoo.cfg 
  • 1
  • 2
  • 3

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aDJCZUL0-1630130370610)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624102211845.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3i0AuANT-1630130370611)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624101049995.png)]

2、配置集群机器

vi conf/zoo.cfg
  • 1

在文件的末尾添加以下内容

server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tOsx6f0Y-1630130370612)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624102451136.png)]

3、在zkData文件夹里新建一个myid文件,内容是本机的Serverid

cd zkData
vi myid
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kC31zuba-1630130370613)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624102846382.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gV1jql1O-1630130370614)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624102824812.png)]

4、配置Zookeeper的LogDIR

配置bin/zkEnv.sh文件

vim bin/zkEnv.sh
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TkqoCG4C-1630130370615)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624103033524.png)]

把 ZOO_LOG_DIR=".“改为ZOO_LOG_DIR=”/opt/software/zookeeper-3.4.10/logs"

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0NxQze6W-1630130370616)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624103418515.png)]

5、把zookeeper拷贝到其他几台

scp -r /opt/software/zookeeper-3.4.10 master:/opt/software/
scp -r /opt/software/zookeeper-3.4.10 slave1:/opt/software/
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LuE0M6eU-1630130370617)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624103732857.png)]

6、更改各自的Serverid

vim zookeeper-3.4.10/zkData/myid 
  • 1

四、启动zookeeper

1、启动

bin/zkServer.sh start
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0oGZOshp-1630130370617)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624104104289.png)]

2、查看进程

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2BGaozH0-1630130370618)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624104146518.png)]

3、查看状态

bin/zkServer.sh status
  • 1

第四节:hbase的安装和配置

一、前提条件

zookeeper和Hadoop集群启动正常

解压Hbase

tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/software
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2JxH38Fg-1630130370619)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624105711768.png)]

二、配置Hbase的文件

1、修改hbase-env.sh的内容
cd hbase-1.3.1/conf/
vi HBase-env.sh
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SdSnTKo4-1630130370620)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624110029801.png)]

把下面内容注释

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-65u7gZZX-1630130370620)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624110450218.png)]

2、修改 hbase-site.xml的内容
vi hbase-site.xml
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f6GSE1yY-1630130370621)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624111035311.png)]

回车之后添加下面的内容

<property>     
		<name>hbase.rootdir</name>     //Hbase在HDFS上的根路径
		<value>hdfs://master:9000/hbase</value>   
	</property>

	<property>   
		<name>hbase.cluster.distributed</name>//Hbase使用分布式模式
		<value>true</value>
	</property>

   <!-- 0.98后的新变动,之前版本没有.port,默认端口为60000 -->
	<property>
		<name>hbase.master.port</name>// master与别人通信的窗口
		<value>16000</value>
	</property>

	<property>   
		<name>hbase.zookeeper.quorum</name>//zookeeper的集群配置(端口号默认)
	     <value>master,slave1,slave2</value>
	</property>

	<property>   
		<name>hbase.zookeeper.property.dataDir</name>//配置zookeeper的dataDir
	     <value>/opt/software/zookeeper-3.4.10/zkData</value>
	</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hgtCz6v6-1630130370622)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624110849790.png)]

3、配置regionservers里面的内容
vi regionservers 
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CZs2Zvwf-1630130370622)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624111812593.png)]

在文件里面添加自己的三台主机名,注:把原来的哪一个一定要在删除

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R5AEqrHq-1630130370623)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624111737386.png)]

4、软连接hadoop配置文件到hbase:
ln -s /opt/software/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/software/hbase-1.3.1/conf/core-site.xml
  • 1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l74sgdfO-1630130370624)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624112207885.png)]

5、把Hbase拷贝到其他几台节点上去
scp -r /opt/software/hbase-1.3.1 master:/opt/software/
scp -r /opt/software/hbase-1.3.1 slave1:/opt/software/
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N2PDBEyP-1630130370625)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624112503074.png)]

三、hbase服务启动

1、zookeeper和Hadoop正常启动

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2FCRJq5L-1630130370625)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624113017788.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tX5676GO-1630130370626)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624113024644.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LkI8HXbN-1630130370627)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624113029724.png)]

2、启动hbase
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver
  • 1
  • 2

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zsXQbw5J-1630130370627)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624113223295.png)]

370622)]

3、配置regionservers里面的内容
vi regionservers 
  • 1

[外链图片转存中…(img-CZs2Zvwf-1630130370622)]

在文件里面添加自己的三台主机名,注:把原来的哪一个一定要在删除

[外链图片转存中…(img-R5AEqrHq-1630130370623)]

4、软连接hadoop配置文件到hbase:
ln -s /opt/software/hadoop-2.7.2/etc/hadoop/core-site.xml /opt/software/hbase-1.3.1/conf/core-site.xml
  • 1

[外链图片转存中…(img-l74sgdfO-1630130370624)]

5、把Hbase拷贝到其他几台节点上去
scp -r /opt/software/hbase-1.3.1 master:/opt/software/
scp -r /opt/software/hbase-1.3.1 slave1:/opt/software/
  • 1
  • 2

[外链图片转存中…(img-N2PDBEyP-1630130370625)]

三、hbase服务启动

1、zookeeper和Hadoop正常启动

[外链图片转存中…(img-2FCRJq5L-1630130370625)]

[外链图片转存中…(img-tX5676GO-1630130370626)]

[外链图片转存中…(img-LkI8HXbN-1630130370627)]

2、启动hbase
bin/hbase-daemon.sh start master
bin/hbase-daemon.sh start regionserver
  • 1
  • 2

[外链图片转存中…(img-zsXQbw5J-1630130370627)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a5Xg7DVt-1630130370628)(C:\Users\huawei\AppData\Roaming\Typora\typora-user-images\image-20210624113548745.png)]

本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号