当前位置:   article > 正文

Hadoop学习(二)Hadoop三大核心组件_hadoop三大组件

hadoop三大组件

Hadoop的三大核心组件分别是:

  • HDFS(Hadoop Distribute File System):hadoop的数据存储工具。
  • YARN(Yet Another Resource Negotiator,另一种资源协调者):Hadoop 的资源管理器。
  • Hadoop MapReduce:分布式计算框架

一.HDFS

1.HDFS概述

HDFS是google三大论文之一的GFS的开源实现,是一个高度容错性的系统,适合部署在廉价的机器上的,适合存储海量数据的分布式文件系统。

在HDFS中,1个文件会被拆分成多个Block,每个Block默认大小为128M(可调节)。这些Block被复制为多个副本,被存放在不同的主机上,这也保证了HDFS的高容错性。

2.HDFS架构

下图展示了HDFS的基本架构

HDFS采用Master/slave架构模式,1一个Master(NameNode/NN)  带 N个Slaves(DataNode/DN)。

从内部来看,数据块存放在DataNode上。NameNode执行文件系统的命名空间,如打开、关闭、重命名文件或目录等,也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写,并在NameNode的统一调度下进行数据库的创建、删除和复制工作。NameNode是所有HDFS元数据的管理者,用户数据永远不会经过NameNode。

NN:
1)负责客户端请求的响应
2)负责元数据(文件的名称、副本系数、Block存放的DN)的管理

DN:
1)存储用户的文件对应的数据块(Block)
2)要定期向NN发送心跳信息,汇报本身及其所有的block信息,健康状况

3.HDFS读写流程

写数据流程

  1. 客户端Client向远程的Namenode发起RPC请求
  2. Namenode会检查要创建的文件是否已经存在,创建者是否有权限进行操作,成功则会为文件创建一个记录, 否则会让客户端抛出异常;
  3. 当客户端开始写入文件的时候, 客户端会将文件切分成多个packets, 并在内部以数据队列“data queue( 数据队列) ”的形式管理这些packets, 并向Namenode申请blocks, 获取用来存储replications的合适的datanode列表, 列表的大小根据Namenode中replication的设定而定;
  4. 开始以pipeline( 管道) 的形式将packet写入所有的replications中。 客户端把packet以流的方式写入第一个datanode, 该datanode把该packet存储之后, 再将其传递给在此pipeline中的下一个datanode, 直到最后一个datanode, 这种写数据的方式呈流水线的形式。
  5. 最后一个datanode成功存储之后会返回一个ack packet( 确认队列) , 在pipeline里传递至客户端, 在客户端的开发库内部维护着”ack queue”, 成功收到datanode返回的ack packet后会从”ack queue”移除相应的packet。
  6. 如果传输过程中, 有某个datanode出现了故障, 那么当前的pipeline会被关闭, 出现故障的datanode会从当前的pipeline中移除, 剩余的block会继续剩下的datanode中继续以pipeline的形式传输, 同时Namenode会分配一个新的datanode, 保持replications设定的数量。
  7. 客户端完成数据的写入后, 会对数据流调用close()方法, 关闭数据流;
  8. 只要写入了dfs.replication.min的副本数( 默认为1),写操作就会成功, 并且这个块可以在集群中异步复制, 直到达到其目标复本数(replication的默认值为3),因为namenode已经知道文件由哪些块组成, 所以它在返回成功前只需要等待数据块进行最小量的复制。

读数据流程

  1. 使用HDFS提供的客户端Client, 向远程的Namenode发起RPC请求;
  2. Namenode会视情况返回文件的部分或者全部block列表, 对于每个block, Namenode都会返回有该block拷贝的DataNode地址;
  3. 客户端Client会选取离客户端最近的DataNode来读取block; 如果客户端本身就是DataNode, 那么将从本地直接获取数据;
  4. 读取完当前block的数据后, 关闭当前的DataNode链接, 并为读取下一个block寻找最佳的DataNode;
  5. 当读完列表block后, 且文件读取还没有结束, 客户端会继续向Namenode获取下一批的block列表;
  6. 读取完一个block都会进行checksum验证, 如果读取datanode时出现错误, 客户端会通知Namenode, 然后再从下一个拥有该block拷贝的datanode继续读。

从上面的流程我们可以更清晰地理解HDFS各个组件的作用:namenode负责管理,不接触数据,datanode负责存储数据,在写数据时,每份数据复制多个副本以pipeline的方式在datanode中流动。读数据时,namenaode的作用只是提供datanode的信息,又客户端自己从datanode读取。

可以看出,HDFS的一个特点是,适合一次写入多次存取的场景。

另外还有一个小知识点,在实际应用中存储数据时,数据的第一份副本存放在离客户端最近的一台主机上,第二份副本存放在与第一台主机不同机架的主机上,第三个副本存放在与上一个副本同一个机架的不同主机上。这样也是保证了HDFS的高容错性。

二.YARN和MapReduce

为什么要把这两个放到一块说呢,因为YARN可以说是为了弥补MRv1的缺陷而诞生的,所以两者放到一块说比较合适

1.什么是MapReduce

Hadoop的MapReduce是对google三大论文的MapReduce的开源实现,实际上是一种编程模型,是一个分布式的计算框架,用于处理海量数据的运算。

2.MapReduce的流程

MapReduce主要由下面几个过程组成,理解了这几个过程,基本上就可以理解MapReduce了

先上一张图再说

  1. input:不用说,就是输入数据,在编程中会有Textformat方法专门处理输入。
  2. splitting:将数据分片,一般来说这个片和HDFS的分块大小是一致的,默认为128M,但是这个大小也可以调节。(https://blog.csdn.net/dr_guo/article/details/51150278这篇博客对分片理解的很到位,可以看一下)。
  3. record reader:record reader通过输入格式将输入split解析成记录。record reader的目的只是将输入数据解析成记录,但不负责解析记录本身。它将数据转化为键/值(key/value)对的形式,并传递给mapper处理。通常键是数据在文件中的位置,值是组成记录的数据块。以图片中的程序(其实也就是wordcount)为例,spliting将输入文本以行为单位分片,record reader把分片结果转化为为多个以行偏移量为key,对应内容为value的key/value对,将这些key/value对作为参数输入到mapping中
  4. mapping:处理record reader解析的每个键/值对来产生0个或多个新的key/value对结果。key/value的选择对MapReduce作业的完成效率来说非常重要。key是数据在reducer中处理时被分组的依据,value是reducer需要分析的数。上图程序中,将输入的value进行解析,产生多个以单词为key,单词数量(其实也就是1)为value的新key/value对,并输出。
  5. shuffing:

    数据从map中出来到进入reduce之前称为shuffle阶段,shuffle的处理任务:将maptask输出的处理结果数据,分发给reducetask,并在分发的过程中,对数据按key进行了分区和排序;

    1、maptask收集我们的map()方法输出的k、v对,放到内存缓冲区中

    2、从内存缓冲区不断溢出本地磁盘文件,可能会溢出多个文件

    3、多个溢出文件会被合并成大的溢出文件

    4、在溢出过程中,及合并的过程中,都要调用partitoner进行分组和针对key进行排序

    5、reducetask根据自己的分区号,去各个maptask机器上取相应的结果分区数据

    6、reducetask会取到同一个分区的来自不同maptask的结果文件,reducetask会将这些文件再进行合并(归并排序)

    7、合并成大文件后,shuffle的过程也就结束了,后面进入reducetask的逻辑运算过程(从文件中取出一个一个的键值对group,调用用户自定义的reduce()方法)

    备注:Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率,原则上说,缓冲区越大,磁盘io的次数越少,执行速度就越快。缓冲区的大小可以通过参数调整, 参数:io.sort.mb 默认100M

  6. reduce:reduce阶段是一个归约过程,实现单词的计数。最后,得到整个文档的词频统计。

MR过程中的数据流向:一个文件在HDFS中是分布存储在不同节点的block中,每一个block对应一个Mapper,每一条数据以K,V的形式进入一个map()方法,map()方法中对数据进行处理(数据筛选,业务逻辑以及分区),再将处理结果以K,V的形式写入环形缓冲区,一个Mapper对应一个context,context对写入的数据按key进行聚合、排序、归约。context的大小默认为100M,当context容量达到80%或Mapper处理结束时,context会向外溢出,形成许多小文件,小文件为一个K和许多V的集合。处理完成后,这些文件会发送到Reducer所在节点,在该节点的context中,会对不同节点发送过来的数据按key进行再一次的聚合、排序和归约,最后进入Reducer,在reduce方法中对同一个<key,value集合>进行处理(业务逻辑),然后按照分区写入文件。

3.MapReduce1.x的架构

MapReduce的架构模式分为两个阶段,MR1.x和MR2.x时期,先说MR1.x,上一张图

MapReduce采用Master/Slave架构,1个JobTracker带多个TaskTracker

1)JobTracker: JT

  •     作业的管理者      管理的
  •     将作业分解成一堆的任务:Task(MapTask和ReduceTask)
  •     将任务分派给TaskTracker运行
  •     作业的监控、容错处理(task作业挂了,重启task的机制)
  •     在一定的时间间隔内,JT没有收到TT的心跳信息,TT可能是挂了,TT上运行的任务会被指派到其他TT上去执行

2)TaskTracker: TT

  •     任务的执行者      干活的
  •     在TT上执行我们的Task(MapTask和ReduceTask)
  •     会与JT进行交互:执行/启动/停止作业,发送心跳信息给JT

3)MapTask

  •     自己开发的map任务交由该Task处理
  •     解析每条记录的数据,交给自己的map方法处理
  •     将map的输出结果写到本地磁盘(有些作业只仅有map没有reduce==>HDFS)

4)ReduceTask

  •     将Map Task输出的数据进行读取
  •     按照数据进行分组传给我们自己编写的reduce方法处理
  •     输出结果写到HDFS
  •  

可以看出来,这种架构模式有很大的缺陷:

  • 只有一个JobTracker,容易出现单点故障
  • JobTracker同时负责资源管理和作业调度,节点的工作压力巨大
  • 可扩展性差

出现了缺陷,就该寻找解决的办法,这时候,我们的YARN就闪亮登场了

4.什么是YARN

Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。通过YARN,不同计算框架可以共享同一个HDFS集群上的数据,享受整体的资源调度。

5.YARN的基本架构

1)ResourceManager: RM

  •     整个集群同一时间提供服务的RM只有一个,负责集群资源的统一管理和调度
  •     处理客户端的请求: 提交一个作业、杀死一个作业
  •     监控我们的NM,一旦某个NM挂了,那么该NM上运行的任务需要告诉我们的AM来如何进行处理

2) NodeManager: NM

  •     整个集群中有多个,负责自己本身节点资源管理和使用
  •     定时向RM汇报本节点的资源使用情况
  •     接收并处理来自RM的各种命令:启动Container
  •     处理来自AM的命令
  •     单个节点的资源管理

3) ApplicationMaster: AM

  •     每个应用程序对应一个:MR、Spark,负责应用程序的管理
  •     为应用程序向RM申请资源(core、memory),分配给内部task
  •     需要与NM通信:启动/停止task,task是运行在container里面,AM也是运行在container里面

4) Container

  •     封装了CPU、Memory等资源的一个容器
  •     是一个任务运行环境的抽象

5) Client

  •     提交作业
  •     查询作业的运行进度
  •     杀死作业

6.YARN的工作流程

  1. 用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster命令、用户程序等
  2. resourceManager为该应用程序分配第一个container,并与对应的nodeManager通信,要求它在这个container中启动应用程序的ApplicationMaster
  3. ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManager查看应用程序的运行状态,然后它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复4~7
  4. ApplicationMaster采用轮询的方式通过RPC协议向resourceManager申请和领取资源
  5. 一旦ApplicationMaster申请到资源后,便与对应的Nodemanager通信,要求它启动任务。
  6. NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务
  7. 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态
  8. 应用程序运行完成后,ApplicationMaster向resourceManager注销并关闭自己

6.MapReduce2.x的架构

YARN将MapReduce1.x中的JobTracker拆分为两部分:ResourceManager和Applicationaster。大大减轻了ResourceManager上的资源消耗与负担,下面三MR2.x的架构图。

 

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/天景科技苑/article/detail/875735
推荐阅读
相关标签
  

闽ICP备14008679号