当前位置:   article > 正文

Spark01:Spark介绍:什么是Spark、Spark的特点、与Hadoop的比较、与Hadoop的结合_spark是什么?它有什么特点

spark是什么?它有什么特点

一、什么是Spark

Spark是一个用于大规模数据处理的统一计算引擎。
注意:Spark不仅仅可以做类似于MapReduce的离线数据计算,还可以做实时数据计算,并且它还可以实现类似于Hive的SQL计算,等等,所以说它是一个统一的计算引擎。

既然说到了Spark,那就不得不提一下Spark里面最重要的一个特性:内存计算。
Spark中一个最重要的特性就是基于内存进行计算,从而让它的计算速度可以达到MapReduce的几十倍甚至上百倍。

所以说在这大家要知道,Spark是一个基于内存的计算引擎。

二、Spark的特点

接下来看一下Spark的一些特点

1、Speed:速度快

在这里插入图片描述
由于Spark是基于内存进行计算的,所以它的计算性能理论上可以比MapReduce快100倍。

Spark使用最先进的DAG调度器、查询优化器和物理执行引擎,实现了高性能的批处理和流处理。

注意:批处理其实就是离线计算,流处理就是实时计算,只是说法不一样罢了,意思是一样的。

2、Easy of Use:易用性

在这里插入图片描述
Spark的易用性主要体现在两个方面:

声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号