hadoop学习笔记1

作者：酷酷是懒虫 | 2024-08-02 00:23:32

踩

hadoop学习笔记1

hadoop是什么？是一个开源的分布式计算平台。解决两个问题：1、海量数据的存储（HDFS 分布式文件系统） 2、海量数据的分析（MapReduce 并行计算框架，离线）

hadoop生态圈（Hadoop Ecosystem Map）

hadoop核心：HDFS，MapReduce，YARN（Yet Another Resource Negotiator资源管理调度系统）

YARN产生背景：

1、直接源于MRv1在几方面的无能

1、扩展受限

2、单点故障

3、难以支持MR之外的计算

2、多计算框架各自为战，数据共享困难

1、MR离线计算框架

2、Storm实时计算框架

3、Spark内存计算框架

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/916504