Spark简介与功能_spark的主要功能是什么

作者：AllinToyou | 2024-06-09 14:28:14

踩

spark的主要功能是什么

Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。

1.提供分布式计算功能，将分布式存储的数据读入，同时将任务分发到各个节点进行计算；

2.基于内存计算，将磁盘数据读入内存，将计算的中间结果保存在内存，这样可以很好的进行迭代运算；

3.支持高容错；

4.提供多计算范式；

2009年：诞生于AMPLab

2010年：开源

2013年6月：Apache孵化器项目

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/694476