Hadoop2.7.5安装及环境部署_hadoop 2.7.5安装

Hadoop2.7.5安装及环境部署

• 将压缩包（可私聊我拿）解压到目录，放在 D:\bigdata\hadoop-2.7.5 目录下。配置 Hadoop 环境变量。
  1、 新建HADOOP_HOME ;变量值设为D:\bigdata\hadoop-2.7.5（视自己解压路径而定）
  
  2、在"path"后添加%HADOOP_HOME%\bin
• 修改 hadoop 配置文件
  1、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”下的 core-site.xml 文件（添加到末尾）

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 mapred-site.xml(没有就将
mapred-site.xml.template 重命名为 mapred-site.xml)文件

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10

3、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 hdfs-site.xml 文件

<configuration>
<!-- 这个参数设置为 1，因为是单机版 hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/bigdata/hadoop-2.7.5/workplace/data</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11

4、修改D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 yarn-site.xml 文件

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10

5、修改“D:\bigdata\hadoop-2.7.5\etc\hadoop”目录下的 hadoop-env.cmd 文件，将
JAVA_HOME 用 @rem 注释掉，编辑为 JAVA_HOME 的路径，然后保存:

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME= D:\bigdata\Java\jdk1.8.0_131
1
2

• 测试配置的 hadoop 运行环境：
  1、通过 CMD DOS（以管理员身份），切换到hadoop解压的bin目录：
  cd D:\bigdata\hadoop-2.7.5\bin。然后执行“hdfs namenode -format”，如下图所示。
  

等待几秒会出现Y or N ,继续输入’y’。如下图：
2、启动进程：
切换到 hadoop 的 sbin 目录，cd D:\bigdata\hadoop-2.7.5\sbin，执行“start-all.cmd”，如下图所示。（可用jps查看进行的进程）

执行 start-all.cmd命令后，会弹出进程，如下图所示。

• 测试hdfs
  根据core-site.xml 的配置，通过：hdfs://localhost:9000 来对hdfs 进行操作了。
  doc命令下输入

hadoop fs -mkdir hdfs://localhost:9000/user/
1

hadoop fs -mkdir hdfs://localhost:9000/user/wcinput
1

输入一下命令测试：hdfs dfs -ls /

• hadoop 自带的 web 控制台 GUI
  1、资源管理 GUI:http://localhost:8088/；hdfs haadmin
  

测试到这一步就成功了。
2、节点管理 GUI:http://localhost:50070/；

注意：使用jsp查看进程时，若发现丢失进程的问题，首先将hadoop解压目录下的workplace内的内容全部删除，再重新format一次。且每次关闭hadoo执行stop-all.cmd，否则也会出现下次启用丢失节点的问题。