当前位置:   article > 正文

windows下Hadoop的安装_hadoop windows安装

hadoop windows安装

安装教程

主要参考安装教程
如在安装过程中遇到问题,可参考下方本人的问题记录。

问题记录

第4步 配置HADOOP_HOME

配置好后,cmd窗口输入hadoop version 报错:
在这里插入图片描述
解决教程:Hadoop版本查询报错解决

注意:修改的jdk版本一定和自己本地安装的一致(可通过java -version命令查询)

重启cmd窗口,再次输入hadoop version ,成功显示:
在这里插入图片描述
注意:这里按照解决教程修改完cmd里的后,安装教程第5步就不需要再修改了,不然会像我第9步时,重现一样的报错!!!

第7步

在这里插入图片描述
本人实际:教程中的datanode和namenode我怀疑弄反了
在这里插入图片描述

第9步

在这里插入图片描述
因为跟着总教程第5步把位置改了,尝试改回类似下方这种
在这里插入图片描述
输入hdfs namenode -format 正常显示:
在这里插入图片描述

第10步

在这里插入图片描述
首先,说start-all这个命令已弃用,用后面两个一起替换(同样,stop-all亦是如此)。
use start0dfs.cmd 开启两个;start-yarn.cmd开启两个;一共四个
先不管这个。我的四个窗口有两个出现了error
在这里插入图片描述
(start-yarn.cmd开启的两个报错)
解决教程:解决couldn’t find a package.json file in …… 大概就是有重名yarn命令的原因
注意:除了跟着上方修改了yarn的路径外,需要自己手动去设置环境变量

新建环境变量 HADOOP_BIN_PATH 为hadoop安装目录下的bin目录位置
在这里插入图片描述
在这里插入图片描述
重启cmd窗口,切换到Hadoop的sbin文件夹下,输入start-yarn.cmd 即可
在这里插入图片描述

第13步上传测试

我复制命令输入都会有一串的警告:
在这里插入图片描述
可能原因是jdk版本较高,但貌似能运行,所以此处可以不管这些警告,就是有点影响体验。
我跟着上面提到过的修改etc/hadoop/hadoop-env.cmd的Java位置
我的原本是jdk-11.0.16.1,改成了jdk1.8.0_241之后警告就没有出现了。
注意:我能直接修改是在此之前配置过了相关的并且下载jdk1.8.0的版本,所以如果没有这个版本的可以不改,或者先把版本下载完配置好后再修改。

看上图最后一行提示错误:ls: ……连接失败
不能访问localhost:9000,想要访问这个需要开启hdfs
开启hdfs
在sbin文件夹路径下 cmd窗口命令:start-dfs.sh就可以访问了

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/478762
推荐阅读
相关标签
  

闽ICP备14008679号