当前位置:   article > 正文

HADOOP集群搭建

HADOOP集群搭建
  • 集群简介

HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起(也就是说需要分别部署HDFS集群和YARN集群,但是这两个集群在一个机器上部署)

HDFS集群:

负责海量数据的存储,集群中的角色主要有 NameNode / DataNode

YARN集群:

负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager

(那mapreduce是什么呢?它其实是一个应用程序开发包)

 

  • 服务器准备

本案例使用虚拟机服务器来搭建HADOOP集群,所用软件及版本:

Vmware 11.0

Centos  6.5  64bit

 

  • 网络环境准备

采用NAT方式联网

网关地址:192.168.33.1

3个服务器节点IP地址:192.168.33.130、192.168.33.131、192.168.33.132、192.168.23.133

子网掩码:255.255.255.0

  • 服务器系统设置

添加HADOOP用户

为HADOOP用户分配sudoer权限

同步时间

设置主机名

mini1、mini2、mini3、mini4

  • 配置内网域名映射:/etc/hosts

192.168.33.130          mini1

192.168.33.131          mini2

192.168.33.132          mini3

192.168.33.133          mini4

  • 配置ssh免密登陆
  • 关闭防火墙

service iptables stop

chkconfi iptables off

  • HADOOP安装部署

注意:hadoop的安装文件我们需要从官网下载源码文件到linux进行编译,因为官网编译的版本不一定适合我们现在的环境,所以需要重新编译源码。【源码编译步骤比较多,可以参考一下一篇好的博文,我这里就不班门弄斧了】

源码编译参考https://www.cnblogs.com/duking1991/p/6104304.html

  • 上传HADOOP安装包

  • 规划安装目录  /home/hadoop/apps/hadoop-2.6.1
  • 解压安装包

tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/

  • 修改配置文件 
  • 最简化配置如下:

解压缩之后,进入到/home/hadoop/apps/hadoop-2.6.4/etc/hadoop目录

这个目录下有很多配置文件,但是不需要每一个配置文件都需要去配置

配置hadoop-env.sh即可(只需要在这个配置文件中加入java的路径即可)

拿到当前机器的JAVA_HOME的路径

/usr/local/jdk7/jdk1.7.0_80

因为到时候启动的时候是通过一台机器ssh远程到其他机器上启动hadoop的,所以这个环境变量就不生效,需要我们首先配置好

vi  hadoop-env.sh

  1. # The java implementation to use.
  2. export JAVA_HOME=/usr/local/jdk7/jdk1.7.0_80

 

如下四个配置文件是配置hadoop运行时的配置文件

核心配置文件core-site.xml

跟hdfs有关hdfs-site.xml

跟mapreduce有关mapred-site.xml.template    -- 需要重命名为mapred-site.xml配置才能生效([hadoop@localhost hadoop]$ mv mapred-site.xml.template mapred-site.xml)

跟yran有关yarn-site.xml

 

其实这四个配置文件配置在哪一个配置文件里面都是可以的,但是为了方便管理分开配置;

公共配置在core-site.xml

  1. <configuration>
  2. <property>
  3. <name>fs.defaultFS</name>
  4. <value>hdfs://192.168.23.130:9000</value>
  5. </property>
  6. <property>
  7. <name>hadoop.tmp.dir</name>
  8. <value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value>
  9. </property>
  10. </configuration>

vi  hdfs-site.xml   -- hdfs-site.xml有默认配置,我们可以不用配置,这里就简单配置一下

  1. <configuration>
  2. <property>
  3. <name>dfs.namenode.name.dir</name>
  4. <value>/home/hadoop/data/name</value>
  5. </property>
  6. <property>
  7. <name>dfs.datanode.data.dir</name>
  8. <value>/home/hadoop/data/data</value>
  9. </property>
  10. <property>
  11. <name>dfs.replication</name>
  12. <value>2</value>
  13. </property>
  14. <property>
  15. <name>dfs.secondary.http.address</name>
  16. <value>192.168.23.130:50090</value>
  17. </property>
  18. </configuration>

vi  mapred-site.xml   -- 这样配置之后,mapreduce就会交给yarn去跑,分布式的方式去跑。默认是local,在本地跑,不是分布式去跑。

  1. <configuration>
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>

vi  yarn-site.xml

  1. <configuration>
  2. <property>
  3. <name>yarn.resourcemanager.hostname</name>
  4. <value>192.168.23.130</value>
  5. </property>
  6. <property>
  7. <name>yarn.nodemanager.aux-services</name>
  8. <value>mapreduce_shuffle</value>
  9. </property>
  10. </configuration>

在mini1配置好上述的配置文件后,把整个解压后的hadoop安装到mini2,mini3,mini4

   scp -r apps/ 192.168.23.131:/home/hadoop/

   scp -r apps/ 192.168.23.132:/home/hadoop/

   scp -r apps/ 192.168.23.133:/home/hadoop/

配置hadoop的环境变量  -- 配置之后就可以在机器的其他地方敲hadoop的命令

vim /etc/profile  -- 要root用户操作

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在mini1机器上配置好之后,把/etc/profile配置文件分发到mini2,mini3,mini4

scp /etc/profile 192.168.23.131:/etc/

 scp /etc/profile 192.168.23.132:/etc/

 scp /etc/profile 192.168.23.133:/etc/

 

配置好之后还不能立即启动集群,还需要格式化namenode。

Hadoop namenode -format

这个路径是我们刚刚配置的初始化的路径

 

如果我们要启动namenode只能在mini1机器上,因为我们在配置文件上写死了mini1为namenode,下图就是启动namenode的命令

首先cd到/home/hadoop/apps/hadoop-2.6.4/sbin下(如果配置好了hadoop的环境变量就可以在任意一个目录执行)

hadoop-daemon.sh start namenode

启动了namenode之后,可以通过jps命令查看

访问页面http://192.168.23.130:50070

因为是只启动的namenode,并没有启动datanode,所以文件系统的大小为0B

启动一个datanode节点,比如启动192.168.23.131

hadoop-daemon.sh start datanode

看容量已经扩大。那么问题来了,为什么我启动一台机器namenode就知道呢?因为我们刚才的配置文件是完全一样的,所以当他们启动的时候就知道namenode在哪里,所以namenode就知道容量变化了。

vi  salves      #配置集群的ip或者主机别名(注意是配置别名的时候要先在本地配置好/etc/hosts)

  1. mini1
  2. mini2
  3. mini3
  4. mini4

 

  • 启动集群

方式一:手工一个机器一个机器去启动

hadoop-daemon.sh start namenode  #启动namenode

hadoop-daemon.sh start datanode   #启动datanode

 

yarn-daemon.sh start resourcemanager  #启动resourcemanager

yarn-daemon.sh start nodemanager     #启动nodemanager

 

方式二:通过脚本启动所有机器的dfs和yarn

前提:(1)需要配置从master到slave的ssh免密登录  (2)需要配置好/home/hadoop/apps/hadoop-2.6.4/etc/hadoop下的slaves配置文件,配置好所有的机器的别名

启动HDFS

sbin/start-dfs.sh

启动YARN

sbin/start-yarn.sh

  • 测试

上传文件到HDFS

首先在hdfs上创建目录

  1. [HADOOP@hdp-node-01 ~]$hadoop fs -mkdir -p /wordcount/input
  2. [HADOOP@hdp-node-01 ~]$hadoop fs -put /home/hadoop/test20190226/20190226.txt /wordcount/input

 

从本地上传一个文件到hdfs

上传文件之后,启动一个hadoop客户端来查看文件系统中的文件

在管理平台上(http://192.168.23.130:50070)也可以看到已经上传的文件

hadoop fs 表示启动hadoop的文件系统, -ls / 表示查看的是hadoop的文件系统的根目录,而不是linux机器的根目录

  • 运行一个mapreduce程序

在HADOOP安装目录下,运行一个示例mr程序

 

首先需要创建目录/wordcount/input

命令如下:

[hadoop@mini1 mapreduce]$ hadoop fs -mkdir -p /wordcount/input

创建一个文件test.txt,内容this is a test mapreduce programming!

并上传到/wordcount/input

为了方便查看统计效果,指保留我们刚刚创建的一个文件,之前上传到这里的文件先删除

进入到cd /home/hadoop/apps/hadoop-2.6.4/share/hadoop/mapreduce

执行命令:

hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input  /wordcount/output 

进入到mapreduce目录,看到下面有很多的jar包,这些jar都是一些例子,我们现在启动一个hadoop-mapreduce-examples-2.6.4.jar这个例子,命令: hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount  /wordcount/input  /wordcount/output

转载于:https://www.cnblogs.com/chunguang-yao/p/10666399.html

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/650926
推荐阅读
相关标签
  

闽ICP备14008679号