学习总结十三：Hadoop核心项目_hadoop项目小结

作者：你好赵伟 | 2024-04-28 13:14:25

踩

hadoop项目小结

1.HDFS: Hadoop Distributed File System 分布式文件系统

1.1主从结构
主节点，只有一个: namenode
从节点，有很多个: datanodes

1.2namenode负责：
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系，block与datanode之间关系

1.3datanode负责：
存储文件
文件被分成block存储在磁盘上
为保证数据安全，文件会有多个副本

2.MapReduce：并行计算框架

2.1主从结构
主节点，只有一个: JobTracker

从节点，有很多个: TaskTrackers

2.2JobTracker负责：
接收客户提交的计算任务
把计算任务分给TaskTrackers执行

监控TaskTracker的执行情况

2.3TaskTrackers负责：
执行JobTracker分配的计算任务

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】