一、初始Hadoop之一Hadoop三大组件

作者：喵喵爱编程 | 2024-07-24 16:18:22

踩

一、Hadoop的组件：
1、HDFS
一个高可靠、高吞吐量的分布式文件系统
存储海量数据
分布式
安全性
副本数据
数据是以block的方式进行存储的，128M
比如：200M---128M 72M

2、MapReduce
一个分布式的离线并行计算框架
对海量数据的处理
分布式
思想：
分而治之
大数据集分为小的数据集
每个数据集进行逻辑业务处理（map）
合并统计数据结果（reduce）
3、Yarn
分布式资源管理框架
管理整个集群的资源（内存、CPU核数）
分配调度集群的资源
4、Common
工具，基础，为基他Hadoop模块提供基础设施。

二、HDFS服务功能
NameNode是主节点，存储文件的元数据，如文件名、文件目录结构、文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在DataNode等。
DataNode在本地文件系统存储文件块数据，以及块数据的校验和。
SecondaryNameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

三、YARN服务功能
ResourceManager
处理客户端请求
启动/监控ApplicationMaster
监控NodeManager
资源分配与调度
NodeManager
单个节点上的资源管理
处理来自ResourceManager的命令
处理来自ApplicationMaster的命令
ApplicationMaster
数据切分
为应用程序申请资源，并分配给内部任务
任务监控与容错
Container
对任务运行环境的抽象，封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息

四、离线计算框架MapReduce
将计算过程分为两个阶段，Map和Reduce
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
Shuffle连接Map和Reduce两个阶段
Map Task将数据写到本地磁盘
Reduce Task从每个Map Task上读取一份数据
仅适合离线批处理
具有很好的容错性和扩展性
适合简单的批处理任务
缺点明显
启动开销大、过多使用磁盘导致效率低下等。

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】