hadoop与spark_spark 是一个专门的、用来对那些分布式存储的人数据进行处理的工具,它会1进行分布

作者：花生_TL007 | 2024-06-07 15:49:28

踩

spark 是一个专门的、用来对那些分布式存储的人数据进行处理的工具,它会1进行分布

hadoop与spark

1、二者可合可分
Hadoop除了提供为大家所共识的HDFS分布式数据存储功能之外，还提供了叫做MapReduce的数据处理功能。
Spark，是一个专门用来对那些分布式存储的大数据进行处理的工具，它并不会进行分布式数据的存储。
2、对比
MapReduce
我们要数图书馆中的所有书。你数1号书架，我数2号书架。这就是“Map。我们人越多，数书就更快。
现在我们到一起，把所有人的统计数加在一起。这就是“Reduce”.
MapReduce是分步对数据进行处理的: ”从集群中读取数据，进行一次处理，将结果写到集群，从集群中读取更新后的数据，进行下一次的处理，将结果写到集群，等等。
Spark数据处理速度秒杀MapReduce
Spark，它会在内存中以接近“实时”的时间完成所有的数据分析，从集群中读取数据，完成所有必须的分析处理，将结果写回集群，完成。Spark的批处理速度比MapReduce快近10倍，内存中的数据分析速度则快近100倍。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/花生_TL007/article/detail/686023