Windows环境下安装hadoop_windows安装hoodoop

一、下载安装包

首先原生hadoop是没有专门针对Windows的安装包的，所以我们需要借用linux中hadoop的安装包来实现安装，首先我们需要下载两个软件。
1

(1) hadoop安装包
清华园镜像： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 下载 tar.gz

(2) 第三方包 winutils
https://github.com/steveloughran/winutils
如果报nativeio异常，可以将此包解压至hadoop的bin目录下。

二、安装配置

1. 安装jdk并配置环境变量

2. 解压缩hadoop，配置环境变量。

右键点击我的电脑 -> 属性 -> 高级环境变量 -> 高级选项卡 -> 环境变量 -> 单击新建HADOOP_HOME

使用编辑器打开{hadoop文件夹}/etc/hadoop/hadoop-env.cmd 修改JAVA_HOME的路径
将set JAVA_HOME改为jdk的位置（也就是JAVA_HOME的路径）

set JAVA_HOME=D:\Program\Java\jdk1.8.0_251
1

3. 修改hadoop配置文件

1）修改core-site.xml配置文件，位置在hadoop目录下 etc/hadoop/core-site.xml，添加如下配置

<configuration>
    <property>
        <name>fs.defaultFS</namme>
        <value>hdfs://localhost:9000 </value>
    </property>
</configuration>
1
2
3
4
5
6

2. 修改hdfs-site.xml配置文件，位置在hadoop目录下 etc/hadoop/hdfs-site.xml，添加如下配置

<configuration>
    <property>
        <name>dfs.replication</namme>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</namme>
        <value>/D:/Program/hadoop-2.6.0/data/namenode</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</namme>
        <value>/D:/Program/hadoop-2.6.0/data/datanode</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14

注意：value里的目录，使用的是全路径配置。
根据上面的配置，在hadoop目录下创建namenode、datanode节点存储目录。

3） 重命名mapred-site.xml.template为mapred-site.xml，位置同上添加配置

<configuration>
    <property>
        <name>mapreduce.framework.name</namme>
        <value>yarn</value>
    </property>
</configuration>
1
2
3
4
5
6

4. 配置yarn-site.xml，位置同上

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</namme>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</namme>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
1
2
3
4
5
6
7
8
9
10

hadoop配置完成，hdfs负责分布式存储，mapreduce负责分布式计算，yarn负责资源调度，基本的（伪）分布式环境建成。

三、测试使用

1. 格式化namenode的hdfs目录

cmd命令下输入执行：

hdfs namenode -format
1

2. 启动hadoop，定位到sbin目录，如下输入

然后就会出现一下四个窗口：

使用jps查看运行的所有节点

启动之后才能访问
http://localhost:8088/ 查看hadoop的启动情况

错误：
拷贝hadoop.dll文件到C:\Windows\System32
不然在window平台使用MapReduce测试时报错