devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

高可用的分布式Hadoop大数据平台搭建，超详细，附代码。_hadoop高可用搭建步骤

作者：IT小白 | 2024-07-14 13:41:40

赞

踩

hadoop高可用搭建步骤

目录

前言1：

前言2：

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置

​ 3，改主机名

4，配三台主机映射

 5，三台主机时钟同步

 6，三个节点关防火墙，并开机禁用

 7，三台主机互相免密登录

二，Hadoop大数据集群部署

步骤一

步骤二 

步骤三

步骤四

步骤五

步骤六 

步骤七

 三，Hadoop大数据分布式集群的配置

步骤一

 步骤二

 步骤三

 步骤四

 步骤五

 步骤六

 步骤七

 步骤八

四，主从节点文件的分发

步骤一

步骤二

 步骤三

五，Hadoop集群的启动

1，元数据的格式化

2，组件的启动

3，使用网页形式查看

后言

———————————————————————————————————————————

前言1：

推荐用MobaXterm_20.0这个软件去远程连接你的虚拟机，个人感觉这个是挺好用的，特别是它的那个交互同步执行（以下简称多执行），简直好用到爆，做好的事都很方便，熟练使用可节省不少时间，可以点击下面下载汉化版的，谁用谁知道，简直不要太香。

我试了试给大家在这里粘贴链接会推荐受影响使用大家可以去我发布的资源里下载MobaXterm_20.0汉化：

前言2：

下面的命令，如果不知道在哪个节点敲的，统一声明一下代码前没有标注的都事master节点，slave1和slave2节点的我都在代码前标注了，另外，以下每段代码，我都附上了成功后的截图，以供大家搭建参考。 

一，基础环境

1，三台Centos7.5，一台master，两台slave1和slave2

2，IP配置

ip a


ip a


ip a

 3，改主机名

hostnamectl set-hostname master && bash

hostnamectl set-hostname slave1 && bash

hostnamectl set-hostname slave2 && bash

4，配三台主机映射

 注：这里就可以用这个远程软件提供的多执行窗口，简单快捷，谁用谁知道，太香了。

vi /etc/hosts
  1. 192.168.100.80 master
  2. 192.168.100.90 slave1
  3. 192.168.100.100 slave2

 5，三台主机时钟同步

注：如果你是克隆的话这一步就可以不做，就像我的这个一样直接略过，也可以按如下配置。

可以用远程软件的交互执行同时操作以完成

三个节点同时敲（用多执行窗口）

  1. yum install ntpdate -y
  2. ntpdate ntp1.aliyun.com
  3. date

 6，三个节点关防火墙，并开机禁用

用多执行窗口

  1. systemctl stop firewalld
  2. systemctl disable firewalld
  3. systemctl status firewalld

 7，三台主机互相免密登录

注：这里需要三个节点先去创建一个hadoop的用户，并设置密码，然后使用hadoop用户去做免密，因为后边好多操作都是以hadoop用户的身份实现的。

用多执行窗口

  1. useradd hadoop
  2. passwd hadoop
  3. 000000
  4. 000000
  5. su hadoop
  6. ssh-keygen(一路回车)
  7. ssh-copy-id master
  8. ssh-copy-id slave1
  9. ssh-copy-id slave2
  10. ssh slave1
  11. exit

自此基础环境配置完毕。就问你这个功能香不香！！！

二，Hadoop大数据集群部署

步骤一

在master中，创建两个目录，一个/opt/software/存放软件，一个/usr/local/src/安装软件

  1. mkdir /opt/software
  2. mkdir /usr/local/src/

步骤二 

将jdk和hadoop的压缩包上传到/opt/software目录下，可以从我发布的资源里下载到两个压缩包，这里就不贴链接了，直接上传即可。

步骤三

上传完成后，解压到/usr/local/src/hadoop和/usr/local/src/jdk下，并通过mv命令改名，使其简单明了

  1. tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/
  2. mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop
  3. tar -zxvf  /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src
  4. mv /usr/local/src/jdk1.8.0_152/ /usr/local/src/jdk

步骤四

并修改所属用户和组确保可为hadoop用户所用

  1. chown -R hadoop:hadoop /usr/local/src/hadoop
  2. chown -R hadoop:hadoop /usr/local/src/jdk

步骤五

 配置环境变量使jdk和hadoop生效

vi /etc/profile
  1. export JAVA_HOME=/usr/local/src/jdk export JRE HOME=/usr/local/src/jdk/jre
  2. export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/Lib:$JRE_HOME/Lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
  3. export HADOOP_HOME=/usr/local/src/hadoop
  4. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  5.

步骤六 

使环境变量生效

source /etc/profile

步骤七

检测jdk和hadoop是否安装成功

  1. java -version
  2. hadoop version

 三，Hadoop大数据分布式集群的配置

注：上面我们在master节点装好了jdk和hadoop，可是我们的另外两个从节点也需要jdk和hadoop，所以我们要分发到两个从节点，在此之前需要先做如下配置。

步骤一

修改文件

cd /usr/local/src/hadoop/etc/hadoop
vi core-site.xml
  1. <configuration>
  2.         <property>
  3.                <name>fs.defaultFS</name>
  4.                <value>hdfs://master:9000</value>
  5.         </property>
  6.         <property>
  7.                <name>hadoop.tmp.dir</name>
  8.                <value>file:/usr/local/src/hadoop/tmp</value>
  9.         </property>
  10. </configuration>

 步骤二

修改文件

vi hadoop-env.sh
  1. export JAVA_HOME=/usr/local/src/java
  2. export HADOOP_PERFIX=/usr/local/src/hadoop
  3. export HADOOP_OPTS="-Djava.library.path=$HADOOP_PERFIX/lib:$HADOOP_PERFIX/lib/natice"

 步骤三

修改文件

 vi hdfs-site.xml
  1. <configuration>
  2.         <property>
  3.                <name>dfs.namenode.name.dir</name>
  4.                <value>file:/usr/local/src/hadoop/dfs/name</value>
  5.         </property>
  6.         <property>
  7.                <name>dfs.datanode.data.dir</name>
  8.                <value>file:/usr/local/src/hadoop/dfs/data</value>
  9.         </property>
  10.         <property>
  11.                <name>dfs.replication</name>   
  12.                <value>3</value> 
  13.         </property>
  14. </configuration>

 步骤四

修改文件

  1. cp mapred-site.xml.template mapred-site.xml
  2. vi mapred-site.xml
  1. <configuration>
  2.         <property>
  3.                <name>mapreduce.framework.name</name>
  4.                <value>yarn</value>
  5.         </property>
  6.         <property>
  7.                <name>mapreduce.jobhistory.address</name>
  8.                <value>master:10020</value>
  9.         </property>
  10.         <property>
  11.                <name>mapreduce.jobhistory.webapp.address</name>
  12.                <value>master:19888</value>
  13.         </property>
  14. </configuration>

 步骤五

修改文件

vi yarn-site.xml
  1. <configuration>
  2.         <property>
  3.                <name>yarn.resourcemanager.address</name>
  4.                <value>master:8032</value>
  5.         </property>
  6.         <property>
  7.                <name>yarn.resourcemanager.scheduler.address</name>
  8.                <value>master:8030</value>
  9.         </property>
  10.         <property>
  11.                <name>yarn.resourcemanager.resource-tracker.address</name>
  12.                <value>master:8031</value>
  13.         </property>
  14.         <property>
  15.                <name>yarn.resourcemanager.admin.address</name>
  16.                <value>master:8033</value>
  17.         </property>
  18.         <property>
  19.                <name>yarn.resourcemanager.webapp.address</name>
  20.                <value>master:8088</value>
  21.         </property>
  22.         <property>
  23.                <name>yarn.nodemanager.aux-services</name>
  24.                <value>mapreduce_shuffle</value>
  25.         </property>
  26.         <property>
  27.                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  28.                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  29.         </property>
  30. </configuration>

 步骤六

修改文件

vi masters
master

 步骤七

修改文件

vi slaves
  1. slave1
  2. slave2

 步骤八

创建目录

  1. mkdir -p /usr/local/src/hadoop/dfs/name
  2. mkdir -p /usr/local/src/hadoop/dfs/data
  3. mkdir -p /usr/local/src/hadoop/tmp

 自此，分布式集群的配置完成

四，主从节点文件的分发

步骤一

分发hadoop目录，改所属用户和组

  1. scp -r /usr/local/src/ root@slave1:/usr/local/src/
  2. scp -r /usr/local/src/ root@slave2:/usr/local/src/

 slave1和slave2

chown -R hadoop:hadoop /usr/local/src

步骤二

分发环境变量，并生效

  1. scp -r /etc/profile root@slave1:/etc/
  2. scp -r /etc/profile root@slave2:/etc/

 slave1和slave2 节点

 source /etc/profile

 步骤三

多窗口执行，检测每个节点是否成功

  1. java -version
  2. hadoop version

 每个节点都一样，才是成功。

五，Hadoop集群的启动

1，元数据的格式化

多执行窗口

  1. su hadoop
  2. source /etc/profile

master节点

hdfs namenode -format

2，组件的启动

master节点

start-all.sh

多窗口执行

jps

3，使用网页形式查看

192.168.100.80:50070

192.168.100.80:8088

192.168.100.80:9000

后言 

自此，一个Hadoop分布式大数据平台搭建完成，感谢观看，欢迎点赞，评论，提问，转发，不足之处，还请多多指教。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/824884
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号