hadoop三个核心框架底层原理--小林月_hadoop底层实现原理

一、Hadoop是什么

1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2）主要解决，海量数据的存储和海量数据的分析计算问题。
3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。

二、hadoop优势

1)高可靠性:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
1

2）高扩展性:在集销间分配任务数据，可方便的扩展数以千计的节点。

4)高容错性:能够自动将失败的任务重新分配。

三、Hadoop组成

在Hadoop 1.x时代，Hadoop中的MapReduce同时处理业劳多A源的调度，耦合性较大。
在Hadoop2.x时代，增加了Yam。Yarn只负责资源的调度，MapReduce只负责运算。
Hadoop3.x在组成上没有变化。

四、HDFS架构概述

4.1 定义

HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

4.2 hdfs优缺点

HDFS优点：

4.3 hdfs组成

1. NameNode (nn)︰存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文牛权限)，以及每个文件的块列表和块所在的DataNode等。
   任务管理：
   

2. DataNode(dn):在本地文件系统存储文件块数据。以及块数据的校验和。
   

3. Secondary NameNode(2nn):每隔一段时间对NameNode元数据备份。

4.3 HDFS文件块大小

HDFS中的文件在物理上是分块存储（Block)，块的大小可以通过配置参数( dfs.blocksize）来规定，默认大小在Hadoop2.x/3.x版本中是128M，1.x版本中是64M。

思考:为什么块的大小不能设置太小，也不能设置太大?
(1) HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置;
(2) 如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。
总结:HDFS块的大小设置主要取决于磁盘传输速率。

五、YARN架构概述

5.1 yarn组成

5.1.1) Resource Manager (RM) :整个集群资源（内存、CPu等）的老大
A)处理来自客户端的请求
B)监控NodeManager
C) 启动或监控ApplicationMaster
D) 资源的分配与调度

ResourceManager有两个主要组件：Scheduler和ApplicationsManager。

       1.Scheduler：调度程序，负责将资源分配给各种正在运行的应用程序

       2.ApplicationsManager(AM) :单个任务运行的老大
       		任务：（1）负责数据切分（2）为应用程序申请资源，并分配给内部的任务。
              （3）负责从调度程序协商适当的资源容器，跟踪其状态并监视进度
1
2
3
4
5
6
7

5.1.2) Node Manager (NM)︰单个节点服务器资源老大
A）管理单个节点的资源
B）处理来自ResourceManager的命令
C) 处理来自ApplicationMaster的命令

5.1.3) Container:容器，相当一台独立的服务器，里面封装了任务运行所需要的资源，如内存、CPU、磁盘、网络等。
说明1:客户端可以有多个
说明2:集群上可以运行多个ApplicationMaster
说明3:每个NodeManager上可以有多个Containe

5.2 yarn工作原理

（1）MR程序提交到客户端所在的节点。
（2）YarnRunner向ResourceManager申请一个Application。
（3）RM将该应用程序的资源路径返回给YarnRunner。
（4）该程序将运行所需资源提交到HDFS上。
（5）程序资源提交完毕后，申请运行mrAppMaster。
（6）RM将用户的请求初始化成一个Task。
（7）其中一个NodeManager领取到Task任务。
（8）该NodeManager创建容器Container，并产生MRAppMaster。
（9）Container从HDFS上拷贝资源到本地。
（10）MRAppmaster向RM 申请运行MapTask资源。
（11）RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
（14）ReduceTask向MapTask获取相应分区的数据。
（15）程序运行完毕后，MR会向RM申请注销自己。

六、MapReduce架构概述

6.1 定义

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

6.2 MapReduce优缺点

6.2.1 优点
1）MapReduce易于编程
它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。
2）良好的扩展性
当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。
3）高容错性
MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。
4）适合PB级以上海量数据的离线处理
可以实现上千台服务器集群并发工作，提供数据处理能力。
6.2.2 缺点
1）不擅长实时计算
MapReduce无法像MySQL一样，在毫秒或者秒级内返回结果。
2）不擅长流式计算
流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。
3）不擅长DAG（有向无环图）计算
多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。

6.3 MapReduce核心思想

MapReduce将计算过程分为两个阶段：Map和Reduce
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总

（1）分布式的运算程序往往需要分成至少2个阶段。
（2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。
（3）第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。
（4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。
总结：分析WordCount数据流走向深入理解MapReduce核心思想。

6.4 MapReduce进程

一个完整的MapReduce程序在分布式运行时有三类实例进程：
（1）MrAppMaster：负责整个程序的过程调度及状态协调。
（2）MapTask：负责Map阶段的整个数据处理流程。
（3）ReduceTask：负责Reduce阶段的整个数据处理流程。

6.5 MapReduce编程规范

用户编写的程序分成三个部分:Mapper、Reducer和 Driver。

1. Mapper阶段
   (1）用户自定义的Mapper要继承自己的父类
   (2) Mappen的输入数据是KV对的形式(KV的类型可自定义)
   (3) Mapper中的业务逻辑写在map()方法中
   (4) Mapper的输出数据是KV对的形式(KV的类型可自定义)
   (5) map()方法(MapTask进程)对每一个<K.V>调用一次
2. Reducer阶段
   (1）用户自定义的Reducer要继承自己的父类
   (2) Reduce的输入数据类型对应Mapper的输出数据类型，也是KV(3) Reducer的业务逻辑写在reduce()方法中
   (4) ReduceTask:进程对每一组相同k的太v>组调用一次reduce()方法
3. Driver阶段
   相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象