Windows安装 hadoop 环境_window安装hadoop

1.需要安装 Java 环境
2.下载 hadoop
https://archive.apache.org/dist/hadoop/common/
3.解压 hadoop 压缩包 （如：将下载好的压缩包放在 E:\config 目录下）
进入到 E:\config 下输入 cmd 回车
打开 cmd 后输入 start winrar x -y hadoop-3.2.1.tar.gz 进行解压（正常右键解压会报错）

4.下载 winutils
https://github.com/cdarlint/winutils
因为 hadoop 默认 Linux 环境，如果在 Windows 上运行 hadoop ，必须下载该文件
将对应版本中的文件放到 hadoop 所在目录下的 bin 文件中，即 E:\config\hadoop-3.2.1\bin 文件下
将 winutils 文件夹中的 hadoop.dll 文件 拷贝一份放到 C:\Windows\System32 目录下

5.配置环境变量
HADOOP_HOME：E:\config\hadoop-3.2.1
Path：%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
6.hadoop 基础配置
在 hadoop 目录下新建 data 文件夹和 tmp 文件夹
在新建的 data 文件夹下新建 datanode 、namenode 文件夹

以下的配置都在 E:\config\hadoop-3.2.1\etc\hadoop 目录下
6.1配置 core-site.xml 文件

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/E:/config/hadoop-3.2.1/tmp</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/E:/config/hadoop-3.2.1/data</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

注意路径
6.2配置 hdfs-site.xml 文件

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>    
		<name>dfs.namenode.name.dir</name>    
		<value>/E:/config/hadoop-3.2.1/data/namenode</value>    
	</property>    
	<property>    
		<name>dfs.datanode.data.dir</name>    
		<value>/E:/config/hadoop-3.2.1/data/datanode</value>  
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

6.3配置 mapred-site.xml 文件

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
1
2
3
4
5
6

6.4配置 yarn-site.xml 文件

<configuration>
		<property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
		</property>
		<property>
			<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
			<value>org.apache.hadoop.mapred.ShuffleHandler</value>
		</property>
		
		<property>
			<name>yarn.application.classpath</name>
			<value>E:\config\hadoop-3.2.1\etc\hadoop;E:\config\hadoop-3.2.1\share\hadoop\common;E:\config\hadoop-3.2.1\share\hadoop\common\lib\*;E:\config\hadoop-3.2.1\share\hadoop\common\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs;E:\config\hadoop-3.2.1\share\hadoop\hdfs\lib\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs\*;E:\config\hadoop-3.2.1\share\hadoop\yarn;E:\config\hadoop-3.2.1\share\hadoop\yarn\lib\*;E:\config\hadoop-3.2.1\share\hadoop\yarn\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\lib\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\*</value>
		</property>
	</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

注意 yarn.application.classpath 下的 value 值的获取方式
打开 cmd 后，直接输入 yarn classpath 回车，将显示的数据全部复制放到 value 中

7.配置 hadoop-env.cmd 文件(如果启动不报错则可以不配置)
如果 Java 找不到时，修改 JAVA_HOME （如：Java 的安装目录在 D:/Java 目录下）
修改 set JAVA_HOME=D:/Java/jdk1.8.0_191
有事在启动的时候会提示 “错误：找不到或无法加载主机 xxx”
这时需要修改该文件下的 set HADOOP_IDENT_STRING 的值（如我的计算机的名称为 WIN 10 ）
则修改为 ：set HADOOP_IDENT_STRING=“WIN 10”
8.启动 hadoop
进入 sbin 文件夹中 E:\config\hadoop-3.2.1\sbin
双击 start-all.cmd 启动
这时会弹出四个黑框

如果启动不报错，则启动成功
9.通过http://127.0.0.1:8088/即可查看集群所有节点状态

访问http://localhost:9870/即可查看文件管理页面