赞
踩
2019.8.3更新:【已解决】
解决方式:请同事帮忙,把Hadoop重新部署了一遍。。。花了一整天,上午九点到晚上十点这样吧。据说Hadoop要部署整套集群(含hdfs,yarn,spark zookeper hive),新手在不报错的顺利的情况下,要两周左右。。。
这次重新部署Hadoop,安装包用的 http://archive.cloudera.com/cdh5/cdh/5/ 网址上的Apache Hadoop 2.6.0-cdh5.7.0,据说集合了几样东东,比原生的Hadoop要便捷很多,不知道是不是可以类比 Python的anaconda VS Python这样。
Apache Hadoop 2.6.0-cdh5.7.0介绍详见此网址 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/ (该网址后加上.tar.gz可直接下载安装包)
(下面是2019.7.20自己搞不定Hadoop dfs启动 的记录)
启动Hadoop-dfs,输入密码后,提示permission denied (如下图)。
一开始不确定密码是“空”还是ubuntu的系统密码,都试过。上周成功登陆过一次,再之后就没成功登陆过了。咨询了有这方面经验的同事,说密码是ubuntu系统密码。这次又试了一次,还是没法连接登陆(connecttion)。故开帖解决。
cd /usr/local/hadoop
./sbin/start-dfs.sh
【方案一】
先参考这帖子试试:
首战胜利(下图)
还是permission denied。。。(如下图)
后来尝试在export PDSH_RCMD_TYPE=ssh
前加sudo,报错:
sudo:export:command not found
——方案一宣告失败。
【方案二】
参考帖子:<Hadoop : Start-dfs.sh -> localhost: Permission denied ? how to fix>
https://anuragsoni.wordpress.com/2015/07/05/hadoop-start-dfs-sh-localhost-permission-denied-how-to-fix/
让输入“ folder location where it will copy the keys”的时候,蒙着输了几个路径都说不存在(如下图)。第三次permission denied,估计是只缺一个sudo了。于是尝试下 语句前加sudo。
加了sudo之后,sudo ssh-keygen
,成功(如下图)
继续,可喜。
ssh localhost
再继续,
/usr/local/hadoop/sbin/start-dfs.sh
然而这次还是没成功(如下图)。。。密码用的是系统密码居多,也尝试过直接enter(即无密码输入)。
手痒,用 ssh localhost
看一下,发现“上次登录时间”从刚刚的7.13,更新到了7.20的20:04:34(应该是刚刚重启terminal的时间?)
【方案三】
(未完待续)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。