代码探险家

这个屌丝很懒，什么也没留下！

热门标签

Hadoop伪分布环境搭建（超详细）_hadoop伪分布式搭建全过程

作者：代码探险家 | 2024-07-09 09:23:40

踩

hadoop伪分布式搭建全过程

1 实验环境

Oracle Linux 7.4
JDK 1.8
Hadoop 2.7.4

2 实验步骤

2.1 实验准备

1.单击机器桌面中的konsole图标
在这里插入图片描述

2.2 配置SSH免密登录

1.机器中创建ssh秘钥，输入如下命令，红框位置直接回车即
[Command 001]：

ssh-keygen -t rsa
1

在这里插入图片描述

2.将公钥拷贝到本机实现免密登录，第一个红框位置输入yes，第二个红输位置输入root
[Command 002]：

ssh-copy-id master
1

在这里插入图片描述

3.验证由机器通过ssh方式免密登录到本机（master）
[Command 003]：

ssh master
1

在这里插入图片描述

4.退出主节点（master）
[Command 004]：

exit
1

在这里插入图片描述

2.3 Hadoop安装与配置

1.解压hadoop压缩文件至/opt目录下
[Command 005]：

tar -zxvf  ~/experiment/file/hadoop-2.7.4.tar.gz  -C  /opt
1

2.修改解压后为文件名为hadoop
[Command 006]：

mv /opt/hadoop-2.7.4 /opt/hadoop
1

在这里插入图片描述

3.修改环境变量
[Command 007]：

vim /etc/profile
1

在这里插入图片描述

4.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码
[Code 001]：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

在这里插入图片描述

5.按键Esc，按键:wq保存退出
6.刷新配置文件
[Command 008]：

source /etc/profile
1

在这里插入图片描述

7.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件，部分截图如下
[Command 009]：

vim /opt/hadoop/etc/hadoop/hadoop-env.sh
1

在这里插入图片描述

8.按键:set nu回车设置行号，部分截图如下
在这里插入图片描述

9.按键25gg定位到25行，部分截图如下
在这里插入图片描述

10.按键dd删除此行，部分截图如下
在这里插入图片描述

11.按键 i 添加如下代码
[Code 002]：

export JAVA_HOME=/usr/lib/java-1.8
1

在这里插入图片描述

12.按键Esc，按键:wq保存退出

2.4 配置hadoop的多个配置文件

13.编辑/opt/hadoop/etc/hadoop/core-site.xml文件，部分截图如下
[Command 010]：

vi /opt/hadoop/etc/hadoop/core-site.xml
1

在这里插入图片描述

14.按键:set nu回车设置行号，部分截图如下
在这里插入图片描述

15.按键19gg定位到19行，按键o添加如下代码，部分截图如下
[Code 003]：

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
1
2
3
4
5
6
7
8

在这里插入图片描述

16.按键Esc,按键:wq保存退出
17.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下
[Command 011]：

vi /opt/hadoop/etc/hadoop/hdfs-site.xml
1

在这里插入图片描述

18.按键:set nu回车，设置行号
在这里插入图片描述

19.按键20gg定位到20行，按键i添加如下代码
[Code 004]：

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
1
2
3
4

在这里插入图片描述

20.按键Esc,按键:wq保存退出
21.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml
[Command 012]：

cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
1

在这里插入图片描述

22.编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件,部分截图如下
[Command 013]：

vi /opt/hadoop/etc/hadoop/mapred-site.xml
1

在这里插入图片描述

23.按键:set nu回车，设置行号
在这里插入图片描述

24.按键20gg定位到20行,按键i添加如下代码
[Code 005]：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
1
2
3
4

在这里插入图片描述

25.按键Esc,按键:wq保存退出
26.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下
[Command 014]：

vi /opt/hadoop/etc/hadoop/yarn-site.xml
1

在这里插入图片描述

27.按键:set nu回车，设置行号
在这里插入图片描述

28.按键18gg定位到18行,按键i添加如下代码，部分截图如下
[Code 006]：

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
1
2
3
4

在这里插入图片描述

29.按键Esc,按键:wq保存退出
30.编辑/opt/hadoop/etc/hadoop/slaves文件
[Command 015]：

vim /opt/hadoop/etc/hadoop/slaves
1

在这里插入图片描述

31.按键dd删除首行，按键i添加如下内容
[Code 007]：

master
1

在这里插入图片描述

32.按键Esc,按键:wq保存退出

2.5 格式化HDFS

33.切换到机器上，命令行中执行如下指令，格式化hdfs，部分截图如下
[Command 016]：

hdfs namenode -format
1

在这里插入图片描述

2.6 启动集群

34.机器命令行中执行如下指令,启动集群，启动过程中出现“are you sure you want to continue connecting”，输入yes。
[Command 017]：

start-all.sh
1

在这里插入图片描述

35.机器命令行中执行如下指令,查看进程
[Command 018]：

jps
1

在这里插入图片描述

36.所有配置完成，进程启动完毕

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/代码探险家/article/detail/802016