当前位置:   article > 正文

Linux(Centos7)下配置Hadoop的环境以及启动其HDFS的详细教程_centos打开hadoop显示什么才是成功

centos打开hadoop显示什么才是成功

上一篇博客地址:https://blog.csdn.net/qq_32575047/article/details/102505038

由于篇幅过长,就将安装和配置Hadoop的教程分开来讲,避免博友们的视觉疲劳,上一篇博文我们说到了如何下载Hadoop并解压到Linux的自定义目录中,接下来让我们进入配置环境以及启动Hadoop的正题上吧:

在这里首先我建议大家在配置环境之前,将Hadoop配置到环境变量中,操作如下:

使用命令:

vim .bash_profile 

 打开图片添加下图所示的代码:

这里的HADOOP_HOME即是你安装Hadoop的路径 ,配置完保存之后,记得输入以下的命令进行激活:

souce .bash_profile

同理你需要配置JDK的环境变量,因为Hadoop的运行是建立在JDK环境之上的(如果不知道怎么配置JDK环境,建议在网上搜索Centos使用yum安装jdk并配置环境变量)

接下来 我们进行重点部分,修改hadoop的相关配置文件

第一步: 进入到hadoop中的/etc/hadoop的文件下面,如下图(图只截了一部分):

我们使用如下命令进入到这个脚本文件

vim hadoop-env.sh

 修改这里的JAVA_HOME,也就是你JDK的安装路径,保存退出即可,如下图:

第二步:进入到core-site.xml中添加如下代码,然后保存退出即可(这里配置的是HDFS的访问路径)

  1. <property>
  2. <name>fs.defaultFS</name>
  3. <value>hdfs://localhost:8020</value>
  4. </property>

第三步:进入到hdfs-site.xml中,添加如下代码,然后保存退出即可

  1. <property>
  2. <name>dfs.replication</name>
  3. <value>1</value>
  4. </property>
  5. <property>
  6. <name>hadoop.tmp.dir</name>
  7. <value>/home/app/tmp</value>
  8. </property>

这里需要解释两点:

dfs.application是副本的系数,因为我们安装的是单节点的Hadoop,所以需要显示的指定副本的系数,假如我们不指定的话,默认副本系数为3,这个可能会出问题

hadoop.tmp.dir这个对应的value路径:hdfs的数据块都是存储在这里面的,如果不显示的配置,Hadoop只会产生临时的目录,待服务器重启之后,这个文件就会丢失。

然后到了重要的一步:HDFS的格式化

我们进入到hadoop的bin目录下执行如下命令:

./hdfs namenode -format

即可完成HDFS格式的初始化问题,我们在初次安装Hadoop,必须执行HDFS格式化,有且只能执行一次。

 

好的,文件的配置已经结束了,现在让我们启动Hadoop中的HDFS吧

从hadoop的根目录,然后进入到sbin的目录下:如下图所示:

输入命令即可启动Hadoop中的HDFS部分

./start-dfs.sh

 我们使用jps命令查看进程,发现了如下图的三个进程,即证明HDFS已经启动成功

 我们可以打开HDFS的WEB  UI的端口,默认的端口号码为50070,在这里博主给大家提醒两点:

1.小伙伴们,可能使用的是本地的Centos,那么需要关闭防火墙,或者开启50070端口

2.有的小伙伴使用的是阿里云或者腾讯云等产品,我们需要关闭防火墙,并且开启安全组

(安全组的开启如果不会,建议大家百度搜索:阿里云或者腾讯云开启安全组)具体的云产品根据个人所用来定。

访问WEB UI成功的界面如下所示:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/611349
推荐阅读
相关标签
  

闽ICP备14008679号