盐析白兔

这个屌丝很懒，什么也没留下！

热门标签

Hadoop集群环境搭建（超详细）_hadoop集群搭建

作者：盐析白兔 | 2024-05-21 03:39:50

踩

hadoop集群搭建

1 实验环境

Oracle Linux 7.4
JDK 1.8
Hadoop 2.7.4

2 实验准备

1.实验准备三台机器分别为master,slave1,slave2
2.单击master机器桌面中的konsole图标
在这里插入图片描述

3 配置SSH免密登录

1.编辑/etc/hosts文件,出现如下界面
[Command 001]：

vim /etc/hosts
1

在这里插入图片描述
2.按i键，如下图

3.第一行前面添加#，如下图

4.按键ESC，按键:wq回车，保存退出。如下图

5.切换到slave1机器，重复1~4步骤
6.切换到slave2机器，重复1~4步骤
7.切换到master机器，master机器中创建ssh秘钥，输入如下命令，红框位置直接回车即
[Command 002]：

ssh-keygen -t rsa
1

在这里插入图片描述
8.将公钥拷贝到slave1机器，第一个红框位置输入yes，第二个红输位置输入root
[Command 003]：

ssh-copy-id slave1
1

在这里插入图片描述
9.将公钥拷贝到slave2机器, 第一个红框位置输入yes，第二个红输位置输入root
[Command 004]：

ssh-copy-id slave2
1

在这里插入图片描述
10.同样道理，将公钥拷贝到master本机
[Command 005]：

ssh-copy-id master
1

11.验证由master机器通过ssh方式免密登录到slave1
[Command 006]：

ssh slave1
1

在这里插入图片描述
12.退出slave1
[Command 007]：

exit
1

在这里插入图片描述
13.验证由master机器通过ssh方式免密登录到slave2
[Command 008]：

ssh slave2
1

在这里插入图片描述

14.退出slave2
[Command 009]：

exit
1

在这里插入图片描述

4 Hadoop安装与配置

1.解压hadoop压缩文件至/opt目录下
[Command 010]：

tar -zxvf ~/experiment/file/hadoop-2.7.4.tar.gz -C /opt
1

2.修改解压后为文件名为hadoop
[Command 011]：

mv /opt/hadoop-2.7.4 /opt/hadoop
1

在这里插入图片描述

3.修改环境变量
[Command 012]：

vim /etc/profile
1

在这里插入图片描述

4.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码
[Code 001]：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

在这里插入图片描述
5.按键Esc，按键:wq保存退出

6.刷新配置文件
[Command 013]：

source /etc/profile
1

在这里插入图片描述
7.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件，部分截图如下
[Command 014]：

vim /opt/hadoop/etc/hadoop/hadoop-env.sh
1

在这里插入图片描述
8.按键:set nu回车设置行号，部分截图如下

9.按键25gg定位到25行，部分截图如下

10.按键dd删除此行，部分截图如下

11.按键 i 添加如下代码
[Code 002]：

export JAVA_HOME=/usr/lib/java-1.8
1

在这里插入图片描述
12.按键Esc，按键:wq保存退出
13.编辑/opt/hadoop/etc/hadoop/core-site.xml文件，部分截图如下
[Command 015]：

vi /opt/hadoop/etc/hadoop/core-site.xml
1

在这里插入图片描述
14.按键:set nu回车设置行号，部分截图如下

15.按键19gg定位到19行，按键o添加如下代码，部分截图如下
[Code 003]：

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
1
2
3
4
5
6
7
8

在这里插入图片描述
16.按键Esc,按键:wq保存退出
17.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下
[Command 016]：

vi /opt/hadoop/etc/hadoop/hdfs-site.xml
1

在这里插入图片描述
18.按键:set nu回车，设置行号

19.按键20gg定位到20行，按键i添加如下代码
[Code 004]：

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
1
2
3
4

在这里插入图片描述

20.按键Esc,按键:wq保存退出
21.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml
[Command 017]：

cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
1

在这里插入图片描述
22.编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件,部分截图如下
[Command 018]：

vi /opt/hadoop/etc/hadoop/mapred-site.xml
1

在这里插入图片描述
23.按键:set nu回车，设置行号

24.按键20gg定位到20行,按键i添加如下代码
[Code 005]：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
1
2
3
4

在这里插入图片描述
25.按键Esc,按键:wq保存退出
26.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下
[Command 019]：

vi /opt/hadoop/etc/hadoop/yarn-site.xml
1

在这里插入图片描述
27.按键:set nu回车，设置行号

28.按键18gg定位到18行,按键i添加如下代码，部分截图如下
[Code 006]：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
1
2
3
4
5
6
7
8
9
10
11
12