赞
踩
大数据平台目前业界也没有统一的定义,但一般情况下,使用了Hadoop、Spark、Storm、Flink等这些分布式的实时或者离线计算框架,建立计算集群,并在上面运行各种计算任务,这就是通常理解上的大数据平台。
大数据平台其实是根据业务需求来决定使用哪些框架或者哪些工具来搭建的平台,从而来实现完成业务需求。
YARN:作业调度与集群资源管理的框架。
Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。
Azkaban:任务调度工具。
Oozie:任务调度工具,完全替代Azkaban。
Impala:完全替代Hive,比较耗内存。
Hue:管理工具,主要与其他各种框架整合。
Redis:内存数据库。NoSql数据库。
HBase:一个非惯性数据库,与Redis类似,是一个NoSql数据库。
Kafka:大数据中分布式消息队列。
Spark:专为大规模数据处理而设计的快速通用的计算引擎
Flink:与Spark类似,分布式流数据流引擎。
大家可以根据以下这张图来方便理解。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。