当前位置:   article > 正文

安装配置Hadoop出现常见问题的解决方法_hadoop连接xshell后,解压jdk文件显示不存在

hadoop连接xshell后,解压jdk文件显示不存在

在参考厦门大学数据库实验室编写的 Hadoop 安装过程http://dblab.xmu.edu.cn/blog/install-hadoop/

安装时出现了经常出现的问题,以下是我找到的解决方法,并加以汇总。


1.未按照教程采用ubuntu14.04版本在ubuntu16.04版本中安装jdk中输入

sudo apt-get install openjdk-7-jre openjdk-7-jdk
                 出现:T his may mean that the package is missing, has been obsoleted, or is only available from another source 即jdk安装失败。

             原因是Ubuntu16.04的安装源已经默认没有openjdk7了,所以要自己手动添加仓库。

     这里提供一个Oracle JDK 7的安装包:链接:http://pan.baidu.com/s/1dFuwbpJ 密码:4ul7

     安装此jdk的方法参考此篇文章第一部分java安装http://blog.csdn.net/windghoul/article/details/52655032,注意配置文件中的路径与名称修改为自己本机的安装路径与名称。


     2.利用命令

 ./bin/hdfs namenode -format

             格式化名称节点

./sbin/start-dfs.sh

       开启Hadoop服务时出现: Error: JAVA_HOME is not set and could not be found 错误

               因为该服务调用时java时是采用hadoop-env.sh文件中的相对路径来调用java可能会出现错误,参考http://wlb.wlb.blog.163.com/blog/static/467413201501451724327/ 将相对路径改为绝对路径,注意将文中的路径根据本机的路径修改。



             3.启动Hadoop服务时出现 警告


  1. WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform...
  2. using builtin-java classes where applicable


               这个状况是因为在官网上下载到的 Hadoop 是采用的32位机编译,而 Hadoop 调用了本地库(C或C++编写运行比JAVA更快)来实现储存压缩文件的处理,如果调用失败也可以用JAVA来处理。当然32位机编译的可能和64位系统不太匹配出现了上面的警告,解决方法很多,最快的解决方法是替换为64位机编译的本地库。参考如下文章: http://www.secdoctor.com/html/yyjs/31101.html给出的网址,可以下载到大部分Hadoop 版本的64位编译的本地库:  http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 根据文章中的方法覆盖即可。这里给出一个 Hadoop 2.7.1 可用的64位编译的本地库链接:http://pan.baidu.com/s/1o7OpCoU 密码:kqw2。替换后重启系统。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/神奇cpp/article/detail/775276
推荐阅读
相关标签
  

闽ICP备14008679号