当前位置:   article > 正文

windows安装hadoop3.1.0_apache-hadoop-3.1.0-winutils

apache-hadoop-3.1.0-winutils

1. 准备java环境

在cmd中输入java -version,建议用8,高版本可能不兼容

2. 下载安装hadoop所需文件

hadoop3.1.0安装包:Apache Hadoop,下载解压

Windows环境安装所需的bin:GitHub - s911415/apache-hadoop-3.1.0-winutils: HADOOP 3.1.0 winutils

3. 下载并解压之后的文件

4. 替换hadoop-3.1.0包中的bin文件夹

打开apache-hadoop-3.1.0-winutils-master包下,发现只有个bin文件夹

用这个bin文件夹,替换掉hadoop-3.1.0包里面的bin文件夹

5. 配置hadoop环境变量

新建系统变量,变量名 HADOOP_HOME ,变量值为对应hadoop的安装路径,我的是 D:\software-pro\hadoop\hadoop-3.1.0

然后编辑Path变量,增加 %HADOOP_HOME%\bin

6. 检查环境变量是否配置成功

输入 hadoop version

7. 配置hadoop的配置文件

进入 D:\software-pro\hadoop\hadoop-3.1.0\etc\hadoop 文件夹

  1. 配置core-site.xml文件

在文档最后增加

  1. <configuration>
  2. <property>
  3. <name>fs.defaultFS</name>
  4. <value>hdfs://localhost:9000</value>
  5. </property>
  6. <property>
  7. <name>hadoop.http.staticuser.user</name>
  8. <value>hadoop</value>
  9. </property>
  10. </configuration>

 2. 配置mapred-site.xml

在文档最后增加

  1. <configuration>
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>

3. 配置yarn-site.xml

  1. <configuration>
  2. <property>
  3. <name>yarn.nodemanager.aux-services</name>
  4. <value>mapreduce_shuffle</value>
  5. </property>
  6. <property>
  7. <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  8. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  9. </property>
  10. </configuration>

4. 新建data目录用户后续存放namenode文件夹和datanode文件夹

在安装包里新建data目录

5. 配置hdfs-site.xml

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.name.dir</name>
  8. <value>file:/D:/software-pro/hadoop/hadoop-3.1.0/data/namenode</value>
  9. </property>
  10. <property>
  11. <name>dfs.datanode.data.dir</name>
  12. <value>file:/D:/software-pro/hadoop/hadoop-3.1.0/data/datanode</value>
  13. </property>
  14. <property>
  15. <name>dfs.permissions</name>
  16. <value>false</value>
  17. </property>
  18. </configuration>

  • 里面两个文件夹dfs.namenode.name.dir,dfs.datanode.data.dir的值,对应上自己的data目录,注意file:开头
  • dfs.permissions是否在HDFS中开启权限检查,默认为true,这里设置成false,确保后续创建文件夹和上传文件有权限

6. 配置hadoop-env.sh

配置jdk路径,注意带上bin

export JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_141\bin

注意:如果jdk路径放在Program File路径下,因为中间有空格,需要换成 PROGRA~1

7. 配置hadoop-env.cmd

配置jdk路径

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_141

8.启动hadoop服务

  • 进入D:\software-pro\hadoop\hadoop-3.1.0\bin目录,在cmd窗口执行
hdfs namenode -format
  • 双击start-all.cmd

出现4个窗口,注意不要关它

9. 访问页面

打开http://localhost:9870/

10. 问题解决

出现创建文件夹,或者上传文件,权限不足,打开F12,找到接口url上的域名,我这里是 windows10.microdone.cn

最后配置hosts解决

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/码创造者/article/detail/851796
推荐阅读
相关标签
  

闽ICP备14008679号