hadoop伪分布式搭建（超详细）_伪分布式hadoop集群搭建过程

上一篇文章已经为大家介绍了如何在Linux系统上配置java环境，这为hadoop的集群搭建提供了基础条件，因为Hadoop是由Java编写的

如果还没有在虚拟机配置java系统的小伙伴可以先看一下我的第一篇文章:https://blog.csdn.net/beixige/article/details/129112527

接下来是hadoop伪分布搭建的要准备东西：
jdk1.8.0_221
hadoop-2.7.7
我都打包提供给大家了，下载地址：https://share.weiyun.com/dk7WgaVk
密码：553ubk

下面正式开始吧！

一.实现免密登陆

1. 创建ssh秘钥，输入如下命令，生成公私密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
1

2.将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

ssh-copy-id -i /root/.ssh/id_dsa.pub master
ssh master
exit
1
2
3

二.Hadoop环境的安装与配置

1. 将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/opt目录下，并将解压文件改名为hadoop

tar -zvxf /root/ruanjian/hadoop-2.7.7.tar.gz -C /opt
mv hadoop-2.7.7 hadoop
1
2

2.修改环境变量

vim /etc/profile
1

3.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码：

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2

4.按键ESC,按键:wq 保存并退出

5.生效刚刚的配置

source /etc/profile
1

6.编辑/opt/hadoop/etc/hadoop/hadoop-env.sh文件，操作如下:

vi /opt/hadoop/etc/hadoop/hadoop-env.sh
1

7. 按键 :set nu 回车设置行号

8.按键25gg定位到25行，部分截图如下:

9.按键dd删除此行，部分截图如下:

10.按键i，插入以下代码，注：根据自己的java路径而定

export JAVA_HOME=/opt/java
1

11.按键ESC 按键:wq 回车保存并退出

12.编辑/opt/hadoop/etc/hadoop/core-site.xml文件，部分截图如下：

vi /opt/hadoop/etc/hadoop/core-site.xml
1

13. 按键 :set nu 回车设置行号

14.按键19gg定位到19行，按键o添加如下代码，部分截图如下

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
1
2
3
4
5
6
7
8

15.按键Esc,按键:wq保存退出

16.编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件,部分截图如下

vi /opt/hadoop/etc/hadoop/hdfs-site.xml
1

17. 按键 :set nu 回车设置行号

18.按键20gg定位到20行，按键i添加如下代码

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
1
2
3
4

19.按键Esc,按键:wq保存退出

20.复制/opt/hadoop/etc/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml

cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapred-site.xml
1

21.编辑/opt/hadoop/etc/hadoop/mapred-site.xml文件,部分截图如下

vi /opt/hadoop/etc/hadoop/mapred-site.xml
1

22.按键:set nu回车，设置行号

23.按键20gg定位到20行,按键i添加如下代码

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
1
2
3
4

24.按键Esc,按键:wq保存退出

25.编辑/opt/hadoop/etc/hadoop/yarn-site.xml文件,部分截图如下:

vi /opt/hadoop/etc/hadoop/yarn-site.xml
1

26.按键:set nu回车，设置行号

27.按键18gg定位到18行,按键i添加如下代码，部分截图如下

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
1
2
3
4

28.按键Esc,按键:wq保存退出

29.编辑/opt/hadoop/etc/hadoop/slaves文件

vim /opt/hadoop/etc/hadoop/slaves
1

30.按键dd删除首行，按键i添加如下内容

master
1

31.按键Esc,按键:wq保存退出

32.切换到机器上，命令行中执行如下指令，格式化hdfs，部分截图如下

hdfs namenode -format
1

33.机器命令行中执行如下指令,启动集群，启动过程中出现“are you sure you want to continue connecting”，输入yes。

start-all.sh
1

34.机器命令行中执行如下指令,查看进程

jps
1

35.如上图所示，所有配置完成，进程启动完毕

ps:连续三晚5000+字教程不易，如果对正在看的小伙伴们有帮助恳请留下一赞~