Mapreduce简述_mapruduce

MapReduce的基本定义

MapReduce是面向大数据并行处理的计算模型、框架和平台。

包含的三层含义：

1. MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）
2. MapReduce是一个并行计算与运行软件框架（Software Framework）
3. MapReduce是一个并行程序设计模型与方法（Programming Model And Methoddology）

MapReduce的特点

MapRuduce基于Google发布的分布式计算框架MapReduce论文设计开发，用于大规模数据集（大于1TB）的并行计算

• 易于编程：程序员仅需描述做什么，具体怎么做交给系统的执行框架处理
• 良好的扩展性：可以通过添加节点以扩展集群能力
• 高容错性：当某些节点发生故障时，通过计算迁移或数据迁移等策略在其他节点继续执行任务，提高集群的高可用性与容错性

执行过程