Linux中Hadoop的安装与配置_linux系统下hadoop安装与使用

1.首先关闭虚拟机的防火墙：

2.查看防火墙状态：

 

3.然后修改主机名称，配置hosts：

vi etc/hosts

前面是自己的主机IP地址  后面是想要修改的主机名称 

修改完成保存后reboot重启即可修改完成

 

4.把Hadoop和jdk压缩包传进安装好的虚拟机中对应的文件夹中(我这里用的是xftp）

 然后进行解压压缩包

解压格式：（tar -zxvf xxxxxx.tar.gz -C /opt/tools/目录）

都解压完成后进行配置

5.进入根目录 进行配置（vi ~/.bashrc)

 配置完成（source ~/.bashrc)

运行查看jdk版本是否安装成功

 6.然后配置Hadoop的环境（同样在根目录下）

 同样source ~/.bashrc

7.进入要配置信息的目录下：（我这里是cd /opt/tools/hadoop/hadoop-2.7.3/etc/hadoop)

 

8.配置hadoop-env.sh:

 

9.配置hdfs-site.xml:

 

10.配置core-site.xml:

1.首个value值的配置按照主机或ip修改成自己的

2.第二个value先在对应目录下建立tmp文件夹，然后修改配置参数（此处不设置临时目录，重启操作系统会造成文件丢失，namenode无法启动）

3.port默认为8020

先创建一个tmp空文件夹在：

进行配置：

 

11.配置mapred-site.xml

 目录下找不到此文件，先将mapred-site.xml.template复制一份并修改文件名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

 

12.配置yarn-site.xml:

 

13. 格式化hdfs

hadoop namenode -format(运行成功会有successful提示）

14. 启动hadoop

start-all.sh（同时启动）

15.jps验证进程（除了jps进程，另外五大进程必须都存在）

注意： 如果缺少节点可能是配置参数代码错误 检查安装目录和配置目录是否一致