Spark简介、生态系统_spark生态系统

Spark是什么

    Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架。Spark是一个用来实现快速而通用的集群计算平台。它一个主要特点是能够在内存中进行计算，并且提供了基于Python、Java、Scala和SQL的API，可以和其他大数据工具配合使用。由于Spark的核心引擎有着速度快和通用的特点，因此它还支持各种不同应用场景专门设计的高级组件，比如SQL和机器学习等。组件其实可以理解为Spark针对常见的任务场景而封装好的模块，这些模块提供了各场景的基本功能。组件之间可以相互调用，各组件如图：

• Spark Core实现了任务调度、内存管理、错误恢复、与存储系统交互等模块，并且还包含了对弹性分布式数据集（Resilient
  Distributed Dataset，简称RDD）的API定义。它主要担任了系统管理员的角色。
• Spark SQL 主要用来操作结构化数据的程序包，通过Spark SQL可以使用SQL或者hive版本的HQL来查询数据库。
• Spark Streaming 主要是对实时数据进行流式计算。
• MLib提供了很多机器学习算法。
• GraphX用来操作图，可以并行的进行图计算