小丑西瓜9

这个屌丝很懒，什么也没留下！

热门标签

hadoop安装与配置详细教程【Windows下】（亲测有效）_windows下配置单机hadoop环境

作者：小丑西瓜9 | 2024-04-15 17:53:23

踩

windows下配置单机hadoop环境

Windows下安装hadoop详细教程

一、配置Java环境

二、下载Hadoop以及winutils压缩包

九、访问namenode页面、resourcemanager的页面来观察集群是否正常

温馨提示：后面需要配置很多文件，如果害怕出错，可以建跟我一样的文件夹，这样也方便后续配置Hadoop、spark等环境。

Java环境配置详细看我的这篇：eclipse的安装与配置详细教程【Java环境配置】

一、配置Java环境

1.新建文件夹命名为JDK，双击安装jdk进入安装界面，点击下一步。

2.如下图所示，点击更改安装目录选择安装到 D：LeStoreDownload\Java\jdk （选用前面新建名为jdk的文件夹，如果你想要放到其他位置，请记住自定义的路径，后面要用），点击下一步。

3.弹出状态进度界面如下，稍等片刻，等待跳出Java安装界面如下（注意与前面的jdk不同这里是安装Java），点击更改安装目录选择安装到D:\LeStoreDownload\Java\ java（前面新建的名为java的文件夹），点击下一步。

4.等待进度条进行到底，点击关闭。

5.配置环境变量

JDK安装完成，还需要配置环境变量，在Windows系统中配置环境变量的步骤如下：

（1）在“此电脑”图标上右击，选择“属性”，点击“高级系统设置”，点击“环境变量”

（2）在“环境变量”对话框中，点击系统变量中的“新建”按钮，输入如下变量名及变量值，点击确定，创建新的系统环境变量JAVA_HOME，设置变量值D:\LeStoreDownload\JAVA\JDK（注意：该变量值为jdk的安装目录）

（3）找到系统变量中的“Path”，选中它，点击“编辑”，然后“新建”两栏属性，内容如下图所示。最后点击“确定”

（4）回到“环境变量”界面，新建一个“系统变量”命名“CLASSPATH”设置变量值：

.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

点击“确定”。

（5）最后在“环境变量”对话框也点击“确定”按钮，至此环境变量配置完成。

(6)验证jdk安装是否成功，“win+r”快捷键打开搜索框，输入“cmd”回车启动控制台。在控制台分别输入java、javac、java -version（注意java与-之间有空格）出现以下三界面，则说明安装成功。

二、下载Hadoop以及winutils压缩包

我下载的是3.2.0版本，因为后面需要替换\bin目录，版本过高找不到替换版本，如果你后续需要下载spark，建议你版本对应。

Hadoop网址：https://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/

其他版本我没试过，如果你想安装其他版本，可以试试

winutils网址：https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.0/bin

github我电脑打不开，但是在机房能打开，所以我下载的有各个版本的winutils，如果需要评论区留言，我放网盘链接。

三、解压Hadoop安装包

解压你下载的3.2.0压缩包，路径自定义，但是：路径中不要有空格

注意：因为我这是已经下载好的，你解压之后文件夹没有这么多

四、配置Hadoop环境

1.在“此电脑”图标上右击，选择“属性”，点击“高级系统设置”，点击“环境变量”

2.在“环境变量”对话框中，点击系统变量中的“新建”按钮，输入如下变量名及变量值，点击确定，创建新的系统环境变量HADOOP_HOME，设置变量值D:\LeStoreDownload\hadoop\hadoop-3.2.0

3. 找到系统变量中的“Path”，选中它，点击“编辑”，然后“新建”两栏属性，内容如下图所示。最后点击“确定”

五、替换bin文件夹

将winutils-master.zip解压，发现里面就一个bin文件夹，拖到"D:\LeStoreDownload\spark-3.1.2"下（当然你的路径可能跟我的不一样），进行替换同名文件夹

六、验证Hadoop环境是否配置成功

WIN+R打开命令提示符，输入一下命令（有个空格），出现下图为成功

hadoop version

七、配置hadoop中的文件

1.首先新建文件夹data，在data下新建datanode、namenode、tmp三个空文件夹

2.配置 "D:\LeStoreDownload\hadoop\hadoop-3.2.0\etc\hadoop\core-site.xml"文件【etc下的文件】，可以直接全覆盖，也可以追加到末尾


<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:\LeStoreDownload\hadoop\hadoop-3.2.0\data\tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

注意了：路径问题，一定要改成你自己的路径，如果你不想改动，你可以文件名给我相同，如下图，一定要是自己的路径，把我的改一下！！！

3.配置 "D:\LeStoreDownload\hadoop\hadoop-3.2.0\etc\hadoop\mapred-site.xml" 文件【etc下的文件】，可以直接全覆盖，也可以追加到末尾


<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

4.配置"D:\LeStoreDownload\hadoop\hadoop-3.2.0\etc\hadoop\yarn-site.xml"文件，【etc下的文件】，可以直接全覆盖，也可以追加到末尾


<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hahoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.配置 "D:\LeStoreDownload\hadoop\hadoop-3.2.0\etc\hadoop\hdfs-site.xml"文件，【etc下的文件】，可以直接全覆盖，也可以追加到末尾


<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:\LeStoreDownload\hadoop\hadoop-3.2.0\data\namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:\LeStoreDownload\hadoop\hadoop-3.2.0\data\datanode</value>
    </property>
</configuration>