Windows搭建Hadoop开发环境_hadoop windows开发环境搭建

一、安装Java

• 版本1.8，安装过程省略…

二、安装Hadoop

1.下载

• 下载安装包 Hadoop2.9.0
• 解压 推荐放到D盘，C盘会有权限问题。路径示例：‪C:\Software\hadoop-2.9.0

2.配置环境变量

三.修改hadoop配置

1.新建data目录及子目录
注意：记得赋予目录读写权限


2.修改配置文件

• 修改 core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
</configuration>
1
2
3
4
5
6

• 修改 hdfs-site.xml

<configuration>
	<!--副本数量-->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<!--NameNode目录-->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///Software/hadoop-2.9.0/data/namenode</value>
	</property>
	<!--DataNode目录-->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///Software/hadoop-2.9.0/data/datanode</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

• 修改 mapred-site.xml

<configuration>
	<!--yarn模式-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
1
2
3
4
5
6
7

• 修改 yarn-site.xml

<configuration>
	<!--RM的hostname-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>0.0.0.0</value>
	</property>
	<!--中间结果存放位置-->
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>file:///C:/Software/hadoop-2.9.0/tmp</value>
	</property>
	<!--NM上运行的附属服务-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

• 修改 hadoop-env.cmd

# 因Java安装在Project Files路径下，有空格，用PROGRA~1代替
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_202
1
2

四、配置库文件

1.VC库

• 安装 Visual C++ 2010 Redistributable Package (x64)
• 安装 winutils.exe，直接copy整个bin目录覆盖安装的hadoop的bin目录即可
  
• 拷贝hadoop.dll到C:\Windows\System32下

四、启动Hadoop

注意：以管理员身份打开cmd控制窗口

1.格式化namenode

hdfs namenode -format
1

2.启动hadoop服务

• 以管理员身份运行，会打开4个service窗口。其中包括hdfs数据节点及yarn资源管理服务进程

start-all.cmd
1

• 浏览器打开 http://localhost:8088/cluster，可查看job运行情况