赞
踩
上一篇博客地址:https://blog.csdn.net/qq_32575047/article/details/102505038
由于篇幅过长,就将安装和配置Hadoop的教程分开来讲,避免博友们的视觉疲劳,上一篇博文我们说到了如何下载Hadoop并解压到Linux的自定义目录中,接下来让我们进入配置环境以及启动Hadoop的正题上吧:
在这里首先我建议大家在配置环境之前,将Hadoop配置到环境变量中,操作如下:
使用命令:
vim .bash_profile
打开图片添加下图所示的代码:
这里的HADOOP_HOME即是你安装Hadoop的路径 ,配置完保存之后,记得输入以下的命令进行激活:
souce .bash_profile
同理你需要配置JDK的环境变量,因为Hadoop的运行是建立在JDK环境之上的(如果不知道怎么配置JDK环境,建议在网上搜索Centos使用yum安装jdk并配置环境变量)
接下来 我们进行重点部分,修改hadoop的相关配置文件
第一步: 进入到hadoop中的/etc/hadoop的文件下面,如下图(图只截了一部分):
我们使用如下命令进入到这个脚本文件
vim hadoop-env.sh
修改这里的JAVA_HOME,也就是你JDK的安装路径,保存退出即可,如下图:
第二步:进入到core-site.xml中添加如下代码,然后保存退出即可(这里配置的是HDFS的访问路径)
- <property>
- <name>fs.defaultFS</name>
- <value>hdfs://localhost:8020</value>
- </property>
第三步:进入到hdfs-site.xml中,添加如下代码,然后保存退出即可
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/home/app/tmp</value>
- </property>
这里需要解释两点:
dfs.application是副本的系数,因为我们安装的是单节点的Hadoop,所以需要显示的指定副本的系数,假如我们不指定的话,默认副本系数为3,这个可能会出问题
hadoop.tmp.dir这个对应的value路径:hdfs的数据块都是存储在这里面的,如果不显示的配置,Hadoop只会产生临时的目录,待服务器重启之后,这个文件就会丢失。
然后到了重要的一步:HDFS的格式化
我们进入到hadoop的bin目录下执行如下命令:
./hdfs namenode -format
即可完成HDFS格式的初始化问题,我们在初次安装Hadoop,必须执行HDFS格式化,有且只能执行一次。
好的,文件的配置已经结束了,现在让我们启动Hadoop中的HDFS吧
从hadoop的根目录,然后进入到sbin的目录下:如下图所示:
输入命令即可启动Hadoop中的HDFS部分
./start-dfs.sh
我们使用jps命令查看进程,发现了如下图的三个进程,即证明HDFS已经启动成功
我们可以打开HDFS的WEB UI的端口,默认的端口号码为50070,在这里博主给大家提醒两点:
1.小伙伴们,可能使用的是本地的Centos,那么需要关闭防火墙,或者开启50070端口
2.有的小伙伴使用的是阿里云或者腾讯云等产品,我们需要关闭防火墙,并且开启安全组
(安全组的开启如果不会,建议大家百度搜索:阿里云或者腾讯云开启安全组)具体的云产品根据个人所用来定。
访问WEB UI成功的界面如下所示:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。