windowns 单机版安装Hadoop3.2.1_apache-hadoop-3.2.1-winutils下载

备注：hadoop安装的坑是真的多，大家警惕

1. 环境要求

        X64的jdk1.8

        使用 Java -version 查询jdk安装信息

2.下载文件

hadoop3.2.1下载

下面是百度网盘的下载连接，也可以自行去官网下载

链接：https://pan.baidu.com/s/1WbZuf4xshhhWRRzbK7xtCw 
提取码：wkbr 
复制这段内容后打开百度网盘手机App，操作更方便哦

官网地址：http://hadoop.apache.org/releases.html

我怀疑随着版本的更新，老的版本需要自己找找

下载winutils

这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。下载下来然后将hadoop-2.8.3进行！覆盖！即可。

下载地址：https://github.com/steveloughran/winutils

下载hadoop-hdfs-3.2.1.bk.jar

https://github.com/FahaoTang/big-data/blob/master/hadoop-hdfs-3.2.1.jar  

所有文件瞎子啊

链接：https://pan.baidu.com/s/1MRGBGYQ3wCg0avB3N6_9pQ 
提取码：1xnq 
复制这段内容后打开百度网盘手机App，操作更方便哦

安装

解压hadoop-3.2.1.tar.gz到安装目录

将winutils里面的文件winutils\hadoop-3.2.1下的bin文件夹拷贝到安装目录的bin目录D:\java\hadoop\hadoop-3.2.1\bin

将里面的bin文件夹下的hadoop.dll文件拷贝到C:\Windows\System32文件夹下

配置环境变量

出来一个目录D:\java\hadoop\hadoop-3.2.1，

配置到环境变量HADOOP_HOME = D:\java\hadoop\hadoop-3.2.1中，

在PATH里加上%HADOOP_HOME%\bin；

修改配置文件

在安装根目录下找\etc\hadoop文件夹下面的四个文件，例如我本地的：D:\java\hadoop\hadoop-3.2.1\etc\hadoop

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

修改

hadoop-env.cmd将java的安装环境换成绝对地址

找到Windows PowerShell 以管理员的右键方式运行

格式化hdfs 

进入D:\java\hadoop\hadoop-3.2.1\bin 目录运行：hadoop namenode -format

cd D:\java\hadoop\hadoop-3.2.1\bin 目录 目录运行：hadoop namenode -format

应该会出现错误

2021-06-23 13:27:21,492 INFO util.GSet: Computing capacity for map NameNodeRetryCache
2021-06-23 13:27:21,492 INFO util.GSet: VM type       = 64-bit
2021-06-23 13:27:21,492 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB
2021-06-23 13:27:21,493 INFO util.GSet: capacity      = 2^15 = 32768 entries
Re-format filesystem in Storage Directory root= D:\java\hadoop\hadoop-3.2.1\data\namenode; location= null ? (Y or N) y
2021-06-23 13:27:32,927 INFO namenode.FSImage: Allocated new BlockPoolId: BP-438026966-192.168.31.1-1624426052920
2021-06-23 13:27:32,928 INFO common.Storage: Will remove files: [D:\java\hadoop\hadoop-3.2.1\data\namenode\current\edits_inprogress_0000000000000000001, D:\java\hadoop\hadoop-3.2.1\data\namenode\current\fsimage_0000000000000000000, D:\java\hadoop\hadoop-3.2.1\data\namenode\current\fsimage_0000000000000000000.md5, D:\java\hadoop\hadoop-3.2.1\data\namenode\current\seen_txid, D:\java\hadoop\hadoop-3.2.1\data\namenode\current\VERSION]
2021-06-23 13:27:32,930 ERROR namenode.NameNode: Failed to start namenode.
java.lang.UnsupportedOperationException
        at java.nio.file.Files.setPosixFilePermissions(Files.java:2044)
        at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clearDirectory(Storage.java:452)
        at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:591)
        at org.apache.hadoop.hdfs.server.namenode.NNStorage.format(NNStorage.java:613)
        at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:188)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1206)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1649)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1759)
2021-06-23 13:27:32,931 INFO util.ExitUtil: Exiting with status 1: java.lang.UnsupportedOperationException
2021-06-23 13:27:32,934 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at LAPTOP-S6VSKPCN/192.168.31.1
************************************************************/

这个时候将我们下载的Hadoop.rar里面的jar文件修改成hadoop-hdfs-3.2.1.bk.jar文件放入

\share\hadoop\hdfs目录下

注意：不要替换之前的hadoop-hdfs-3.2.1.jar

然后再次格式化就会成功hadoop namenode -format

运行项目

使用Windows PowerShell以管理员的右键方式运行

cd D:\java\hadoop\hadoop-3.2.1\bin

 .\start-all.cmd

 结束项目 .\stop-all.cmd 

通过jps命令可以看到4个进程都拉起来了，到这里hadoop的安装启动已经完事了，会一下弹出来四个黑窗口不要紧张，查看没有报错则正确。接着我们可以用浏览器到localhost:8088看mapreduce任务，到http://localhost:9870->Utilites->Browse the file system看hdfs文件。如果重启hadoop无需再格式化namenode，只要stop-all.cmd再start-all.cmd就可以了。

访问localhost:8088查看全部的mapreduce任务

访问http://localhost:9870/查看所有的文件