Windows下安装Hadoop(引导版)_apache-hadoop-3.1.0-winutils

Windows下安装Hadoop(引导版)

本环境只作为测试环境的搭建和学习使用

参考文档

环境：
首先确定环境为java1.8 或者hadoop适配的版本
cmd java -version查看
hadoop环境变量可以不用设置
关于hdfs的配置可以自行修改目录

具体的安装方式参考下面的两个文档

下载软件包
Hadoop3.1.0版本的安装包：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz
Windows环境安装所需的bin文件包（我们这里选择3.1.0）：
1、可以打开地址：https://gitee.com/nkuhyx/winutils ，里面选 3.1.0。
2、或者直接下载：https://gitee.com/tttzzzqqq/apache-hadoop-3.1.0-winutils
原文链接：https://blog.csdn.net/tttzzzqqq2018/article/details/131928028

注意在替换bin文件时 选择重复的文件跳过

hadoop软件包的解压方式
start winrar x -y hadoop-3.3.2.tar.gz ./

参考链接：
https://blog.csdn.net/Helen_1997_1997/article/details/136627713

配置文件

文件目录在hadoop etc下

core-site.xml

<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
 </property>
</configuration>
1
2
3
4
5
6

hdfs-site.xml

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/develop/hadoop/hadoop-3.1.0/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>D:/develop/hadoop/hadoop-3.1.0/data/datanode</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

yarn-site.xml
注意：yarn的资源可以小一点 发现过大的资源分配启动的话 yarn页面访问不到

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
	
	
	<!-- 指定ResourceManager的地址-->
    <!--property>
        <name>yarn.resourcemanager.hostname</name>
        <value>localhost</value>
    </property-->


    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!-- yarn容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>

    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
 
    <!-- yarn容器允许管理的物理内存大小 标配12G-->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
 
    <!--启用自动检测cpu核数-->
    <!--YARN可使用的虚拟CPU个数，默认是8 此参数配合自动检测-->
    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>4</value>
    </property>
 
 

    <!--单个任务可申请的最小虚拟CPU个数，默认是1-->
    <property>
        <name>yarn.scheduler.minimum-allocation-vcores</name>
        <value>1</value>
    </property>
 
    <!--资源设定参数对于开启动态资源分配的设定无效-->
    <!--单个任务可申请的最多虚拟CPU个数，默认是4) 指定为8核心-->
    <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>4</value>
    </property>
 
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>

    <!-- 设置日志保留时间为7天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>


</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90

mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

workers

localhost
1

hadoop-env.cmd

@rem The java implementation to use.  Required.
set JAVA_HOME=D:\develop\java\jdk1.8.0_202
1
2

hadoop-env.sh

export JAVA_HOME=D:\develop\java\jdk1.8.0_202
1

查看服务状态

使用jps

hdfs页面

yarn页面

出现的报错和解决

Exception in thread “main” java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.
启动不了nameNode，解决方法：

在hadoop文件夹\hadoop-3.0.2\etc\hadoop\core-site.xml的标签下，添加如下内容

<property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>
 
  </property>
1
2
3
4
5
6
7

原文链接：https://blog.csdn.net/qq_37475168/article/details/90749924

有时候启动或者初始化元数据 会出现目录无法识别的状况
可以把D前面的/删除试一试
要查看报错内容