当前位置:   article > 正文

复习记录一:MapReduce_mapreduce复习资料

mapreduce复习资料

介绍

MapReduce的核心思想是“分而治之”,,适用于大量复杂的任务处理场景。

  • Map负责“分”,即把复杂的任务分解为若干个小任务来并行处理,可以进行拆分的前提是这些小任务可以可以并行计算,彼此之间没有依赖关系。
  • Reduce负责“合”,即对Map阶段的结果进行汇总。
  • MapReduce运行在yarn集群。
    1.ResourceManager。
    2.NodeManager。
MapReduce编程规范

Map阶段2个步骤

  • 设置InputFormat类,将数据切分成键值对,输入到第二步。
  • 自定义Map逻辑,将第一步的结果转换为另外的键值对,输出结果。

shuffle阶段4个步骤

  • 对输出的键值对进行分区。
  • 对不同分区的数据按照相同key排序。
  • (可选)对分组过的数据初步规约,降低数据的网络拷贝。
  • 对数据进行分组,相同key的value放在一组。

Reduce阶段2个步骤

  • 对多个Map任务的结果进行排序以及合并,编写Reduce函数实现自己的逻辑,对输入的键值对进行处理,转为新的键值对输出。
  • 设置OutputFormat处理并保存Reduce输出的键值对数据。
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/701985
推荐阅读
相关标签
  

闽ICP备14008679号