win11安装hadoop3.3.2(当前最新版本）_windows11 安装 hadoop 3.3

前提Java已经安装

安装准备

下载链接：链接

解压

• 将hadoop 到自己想要解压的路径下(这我解压到D盘下）
  

修改配置文件

1. 进入etc/hadoop/下修改 core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml

core-site.xml

<configuration>
	<property>
	    <name>fs.default.name</name>
	  <value>hdfs://localhost:9000</value>
	 </property>
	 <property>
	  <name>hadoop.tmp.dir</name>
	  <value>/D:/hadoop-3.3.2/data/tmp</value>
	 </property>
</configuration>

1
2
3
4
5
6
7
8
9
10
11

hdfs-site.xml

<configuration>
<!--单机启动-->
    <property>
	   <name>dfs.replication</name>
	   <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hadoop-3.3.2/data/namenode</value>
    </property>
   	<property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hadoop-3.3.2/data/datanode</value>
    </property>
	
    <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

mapred-site.xml

<configuration>
 <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>
1
2
3
4
5
6

yarn-site.xml

<configuration>
    <property>
    	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
   </property>
   <property>
      	<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
<!-- nodemanager要求的内存最低为1024  nodemanager 要求的内存最低为1G，所以value至少是1024，否则无法启动nodemanager -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

2. 修改 workers 为 localhost
3. 修改hadoop-env.cmd

set JAVA_HOME=D:\java\jdk\jdk11

替换lib目录下的文件

如果您双击 winutils.exe 文件闪退，不报错，就说明没有任何问题

配置hadoop环境变量

格式化hadoop

打开命令行窗口
输入：hadoop namenode -format 看到成功的单词即可

进入hadoop的sbin目录执行start-all.cmd 没有报错后进入hadoop下的bin目录执行

看到这三个进程即可

注意： 启动可能会报时间错误，需要复制share文件夹下的时间jar到下图bin目录下即可

访问web页面

hadoop3.2以上的版本 web访问端口从原来的 50070 改为了 9870

http://localhost:9870/

http://localhost:8088/

至此hadoop3.2.2版本 已完成