赞
踩
Scala简介
spark同时支持批处理、交互式查询和流数据处理
一个Application由一个Driver和若干Job构成,一个Job由多个Stage构成,一个Stage由多个没有Shuffle关系的Task组成
Drivers--->Jobs---Stages--->Tasks
应用被分解成多个Job,每个Job包含多个Stage,每个Stage又完成多个任务。
当执行一个Application时,Driver会向集群管理器申请资源,并在节点上启动Executor,同时向Executor发送应用程序代码和文件,然后在Executor上执行Task。运行结束后,执行结果会返回给Driver,或者写到HDFS或者其他数据库中。
RDD的处理过程被称为一个Lineage(血缘关系),即DAG拓扑排序的结果;优点:惰性调用、管道化、避免同步等待、不需要保存中间结果、每次操作变得简单。
安装Spark之前需要安装Java环境和Hadoop环境。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。