windows安装hadoop3.1.3及一些小坑坑_winutils3.1.3

根据https://blog.csdn.net/qq_35160479/article/details/125328530教程

1. 下载Hadoop及winutils
2. 安装hadoop

解压hadoop-3.1.3.tar.gz。设置环境变量HADOOP_HOME及配置path=%HADOOP_HOME%\bin

3. 进入cmd，输入hadoop version

会遇到java路径错误的问题，这是因为java默认安装在了C:\Program Files里，hadoop读取带空格的路径会出错。所以去hadoop-3.1.3\etc\hadoop路径下，用记事本或者文本打开hadoop-env.cmd，更改set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_73即可。

更改后，保存，重新输入hadoop version，可显示Hadoop 3.1.3

4. 进入hadoop-3.1.3目录,创建data和temp文件夹
5. 进入data目录,创建datanode和namenode文件夹
6. 进入hadoop-3.1.3\etc\hadoop，编辑core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>  
</configuration> 
1
2
3
4
5
6

7. 编辑文件hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/D:/hadoop/hadoop-3.1.3/data/namenode</value>    --你的namenode
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/D:/hadoop/hadoop-3.1.3/data/datanode</value>  --你的datanode
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

8. 编辑文件mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

9. 编辑文件yarn-site,xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>1</value>
    </property>

</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

10. 在cmd命令控制台输入以下命令格式化节点

hdfs namenode -format
1

在这一步会报错

java.io.FileNotFoundException: Could not locate Hadoop executable: E:\java\hadoop-3.1.3\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems
1

把下载的winutils中的bin文件全部复制到hadoop-3.1.3\bin中，重新运行，解决该问题。

11. 进入hadoop-3.1.3\share\hadoop\yarn\timelineservice,复制一份hadoop-yarn-server-timelineservice-3.1.3.jar到hadoop-3.1.3\share\hadoop\yarn

12. 进入adoop-3.1.3\sbin,运行start-all.cmd

在这一步会产生新的四个cmd窗口，分别是resourcemanager、datanode、namenode、nodemanager，之前安装另一个版本就遇到了这里启动不对的问题，改安装了3.1.3，按步骤来就没错了。

再输入jps可见以下任务，证明启动成功。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BH6iDVnN-1678239479624)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20230302170003841.png)]

13. 分别访问localhost:9870查看HDFS集群和localhost:8088查看yarn集群可以看到hadoop执行成功