当前位置:   article > 正文

Hadoop总结_hadoop关键技术的总结

hadoop关键技术的总结

Hadoop的核心组件有HDFS、MapReduce和Yarn,以及其他常用组件如:HBase、Hive、Hadoop Streaming、Zookeeper等。具体如下图:

 

  • HDFS:分布式海量数据存储功能
  • Yarn:提供资源调度与任务管理功能
  1. 资源调度:根据申请的计算任务,合理分配集群中的计算节点(计算机)。
  2. 任务管理:任务在执行过程中,负责过程监控、状态反馈、任务再调度等工作。
  • MapReduce:分布式并行编程模型和计算框架。解决分布式编程门槛高的问题,基于其框架对分布式计算的抽象map和reduce,可以轻松实现分布式计算程序。
  • Hive:提供数据摘要和查询的数据仓库。解决数据仓库构建问题,基于Hadoop平台的存储与计算,与传统SQL相结合,让熟悉SQL的编程人员轻松向Hadoop平台迁移。
  • Streaming:解决非Java开发人员使用Hadoop平台的语言问题,使各种语言如C++、python、shell等均可以无障碍使用Hadoop平台。
  • HBase:基于列式存储模型的分布式数据库。解决某些场景下,需要Hadoop平台数据及时响应的问题。

Zookeeper:分布式协同服务。主要解决分布式下数据管理问题:统一命名、状态同步、集群管理、配置同步等。

Hdfs架构设计图及各主要模块和运行流程:

Hdfs主要有:namenode:管理元数据,DataNode:储存数据,client 和客户端交互。有两个模块 一个是读文件 一个是写文件。

读文件的流程:client 接收到请求,client 请求namenode获取文件的位置,然后client读取DataNode上的数据,在客户端处理好之后给用户。

写文件的流程:client接收到请求,client 请求namenode询问应该把数据放到哪里。然后client流式储存这个数据到block上,然后这个数据复制到备份机上,备份机存好之后。另外一台备份机上再存储一次。

HDFS高可用性措施

1 冗余备份 2 跨机架副本存放 3 心跳检测 4 数据完整性检测 5 安全模式 6 核心文件备份 7 空间回收。

HDFS的主要命令有:

Hdfs dfs -ls

Hdfs dfs -put

Hdfs dfs -mkdir

Hdfs dfs -get

Hdfs dfs -help

Hdfs dfs -cat

Hdfs dfs -rm

Hdfs dfs -text

Hdfs dfs -touch

Hdfs dfs -cp

HDFS数据格式详解:

文件格式:文件格式按面向的存储形式不同,分为面向行和面向列的两大类文件格式。

压缩格式:压缩格式按其可切分计算性,分为可切分计算和不可切分计算两种

 

 

MapReducer的流程:Pre-map 对数据进行切割,分成多个split。Map 把数据转换成K,V形式,然后进行partition分区并且排序,然后进行combine本地聚合,然后到shuffle ,拷贝map节点的数据,然后进行文件合并,然后sort排序,然后到reducer阶段,对数据聚合,然后输出到hdfs上。

流程图如下:

在平台上运行 yarn jar testhdfs-jar-with-dependencies.jar 类名 +文件地址;

 MapReduce技术特征

1向“外”横向扩展,而非向“上”纵向扩展

2失效被认为是常态

3移动计算,把处理向数据迁移(数据本地性)

4顺序处理数据、避免随机访问数据

5推测执行

6平滑无缝的可扩展性

7为应用开发隐藏系统底层细节

Yarn双层调度架构设计图及各模块的主要作用和运行流程:

Yarn 主要是由resourcemanager,nodemanager,applicationmaster和container组成。

Resourcemanager的作用有:1处理客户端的请求,2监控nodemanager,3启动applicationmaster。4资源分配与调度。

Nodemanager的主要作用有:1管理单个节点上的资源,2处理resourcemanager的命令,3处理applicationmaster的命令。

Applicationmaster的作用有:1向resourcemanager汇报心跳,2向resourcemanager申请资源,开启任务,3 Applicationmaster负责task的管理。

Container的作用有:1是yarn中资源的抽象,Applicationmaster和task都运行在这里。要注意的是:使用Container可能会导致数据出现不一样的情况。

运行流程图如下:

 

Yarn特点:

  • 资源管理与计算框架解耦设计,一个集群资源共享给上层各个计算框架,按需分配,大幅度提高资源利用率
  • 运维成本显著下降,只需运维一个集群,同时运行满足多种业务需求的计算框架
  • 集群内数据共享一致,数据不再需要集群间拷贝转移,达到共享互用
  • 避免单点故障、集群资源扩展得到合理解决

Yarn常用调度策略:

1先进先出:排队进行任务的处理,先到先做

2容器调度器:允许多用户共享整个集群,每个用户或组织分配专门的队列,不支持抢占式。队列内部默认使用FIFO,也支持Fair调度

 

3公平调度器:目标是为所有用户分配公平的资源。也支持多用户共享集群,也可划分多队列。队列内部不是FIFO,而是采用公平分配的方式。

 

 

 Yarn容错性说明

  • ResourceManager(RM) Failure

同时启动多个RM,基于Zookeeper实现HA避免单点故障,但同时只有一个是active状态

  • ApplicationMaster(AM) Failure

ApplicationMaster挂掉后,由ResourceManager负责重启。ResourceManager的ApplicationsManager模块会保存已经完成的Task,重启后无需重新运行。ApplicationMaster需要处理内部任务的容错问题,如Task Failure。

  • NodeManager(NM) Failure

若包含Task计算任务执行失败后,ApplicationMaster决定处理方法。若包含AM任务,则由RM重启一个新的Container运行AM。

  • Task Failure

通过心跳把信息反馈给AM,或者心跳超时被AM感知,由AM通过重试恢复Task。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/613264
推荐阅读
相关标签
  

闽ICP备14008679号