Hadoop-集群搭建_hadoop集群

什么是Hadoop集群？

Hadoop集群由HDFS集群和YARN集群组成，Hadoop集群逻辑上分离，物理上在一起，而是都是标准的主从架构集群

• HDFS集群

• YARN集群

 一个Hadoop集群

将所有机器看作是一个整体。

 

• 逻辑上分离：HDFS和YARN逻辑上没有依赖，处理数据都是分开进行的，不是启动了一方才能启动另一方
• 物理上在一起：NN，DN和RM，NM虽然不是同一个集群的进程，但是在一台机器上
• MapReduce是计算框架，代码层面的组件，没有集群之说

安装Hadoop

采用集群模式安装部署也叫分布式模式安装，在实际中Hadoop软件要运行在多台机器中。

Step1：下载Hadoop安装包

Step2：集群角色规划

Step3：服务器基础环境准备

关闭防火墙

在内网当中，如果把防火墙打开，好多端口都被屏蔽了，那分布式软件之间通信的时候就通信不上。 stop是当前关闭，disable是永久关闭，避免开机时重启防火墙

status检查防火墙状态

命令：

systemctl stop firewalld.service       当前关闭防火墙

systemctl disable firewalld.service   禁止防火墙开启时自动启动

systemctl status firewalld.service     查看当前防火墙的状态

ssh免密登录

 正常情况下从一台机器访问另一台机器需要密码，涉及集群启动时，可以直接免密操作，在这里已经设置好了，ssh  node1/ssh node2/ssh node3 直接进行登录

集群时间同步

yum -y install ntpdate

ntpdate