当前位置:   article > 正文

Hadoop组成、HDFS、YARN、 MapReduce、 Hadoop环境搭建_每台主机搭建好hadoop的基础组件(hdfs、yarn、mapreduce)

每台主机搭建好hadoop的基础组件(hdfs、yarn、mapreduce)

1.Hadoop组成

1.x:

HDFS:数据存储

MapReduce:计算+资源调度

2.x

HDFS:数据存储

MapReduce:计算

Yarn资源调度

(MapReduce运行在Yarn上)

2. HDFS架构概述

是一个分布式文件系统

1.NameNode(nn):存储文件的元数据,如文件名、文件目录结构、文件属性,以及每个文件的块列表块所在的DataNode

2.DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和

3.Secondary NameNode(2nn):没隔一段时间对NameNode元数据备份

3.YARN架构概述

Yet Another Resource Negotiator简称YARN ,另一种资源协调者,是Hadoop资源管理器

1)ResourceManager(RM):整个集群资源(内存、CPU等)的老大

2)NodeManager(NM):单个阶段服务器资源老大

3)ApplicationMaster(AM):单个任务运行的老大

4)Container:容器,相当于一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等

4. MapReduce架构概述

MapReduce将计算过程分为两个阶段:Map和Reduce。

(1)Map阶段并行处理输入数据

(2)Reduce阶段对Map结果进行汇总

5. Hadoop环境搭建:

模板机要求:

        1.最小化安装

        2.安装一些必要软件

        3.修改IP为静态IP

        4.修改主机名和hosts映射文件

        5.关闭防火墙并且关闭开机自启

        6.创建普通用户at  并且配置sudo权限

        7.需要在/opt目录创建 module(存放安装好的软件)software(软件安装包)

        8.module/software 的所属人所属组改成 at

5.1 最小化安装

5.2 安装一些必要软件

查看IP:

        ip addr

        Xshell连接

hadoop100虚拟机配置要求如下:

(1)使用yum安装需要虚拟机可以正常上网,yum安装前可以先测试下虚拟机联网情况

[root@hadoop100 ~]# ping www.baidu.com

(2)安装epel-release

[root@hadoop100 ~]# yum install -y epel-release

3)注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作

  • net-tool:工具包集合,包含ifconfig等命令

[root@hadoop100 ~]# yum install -y net-tools

  • vim:编辑器

[root@hadoop100 ~]# yum install -y vim

  • 一些其他工具

[root@hadoop100 ~]# yum install -y  psmisc  nc  rsync  lrzsz  ntp libzstd openssl-static tree iotop git

5.3 修改IP为静态IP

1.IP修改IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

        ① BOOTPROTO="static"

        。。。

        ②IPADDR=192.168....

        ③GATEWAY=192.168...

        ④DNS1=192.168...

5.4 修改主机名和hosts映射文件

1. 修改hostname

vim /etc/hostname

改为hadoop100

2. 修改hosts

vim /etc/hosts

        添加:

        192......100  hadoop100

        ...

        192.......106 hadoop106

5.5 关闭防火墙并且关闭开机自启

[root@hadoop100 ~]# systemctl stop firewalld

[root@hadoop100 ~]# systemctl status firewalld(查看)

[root@hadoop100 ~]# systemctl disable firewalld.service(关闭开机自启)

[root@hadoop100 ~]# systemctl is-enabled firewalld.service(查看)

5.6 创建普通用户at  并且配置sudo权限

[root@hadoop100 ~]# useradd at

[root@hadoop100 ~]# passwd at

[root@hadoop100 ~]# vim /etc/sudoers

## Allow root to run any commands anywhere

root    ALL=(ALL)     ALL

at   ALL=(ALL)     NOPASSWD:ALL

5.7 在/opt目录创建 module(存放安装好的软件)software(软件安装包)

[root@hadoop100 ~]# mkdir /opt/module

[root@hadoop100 ~]# mkdir /opt/software

5.8 module/software 的所属人所属组改成 at

[root@hadoop100 ~]# chown at:at /opt/module

[root@hadoop100 ~]# chown at:at /opt/software

(3)查看module、software文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/

[root@hadoop100 opt]# ll

总用量 12

drwxr-xr-x. 2 at at 4096 5  28 17:18 module

drwxr-xr-x. 2 root    root    4096 9   7 2017 rh

drwxr-xr-x. 2 at at 4096 5  28 17:18 software

6. 克隆虚拟机

注意:克隆虚拟机后需要修改IP和hostname

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小惠珠哦/article/detail/775195
推荐阅读
相关标签
  

闽ICP备14008679号