当前位置:   article > 正文

【大数据期末复习】MapReduce_map任务的输入是块还是键值对

map任务的输入是块还是键值对
  • MapReduce是一种计算模式,可以利用MapReduce实现系统来管理多个大规模的计算过程并且保障对硬件故障的容错性。

  • Hadoop是MapReduce的一种具体实现。

  • 采用一种分而治之的思想进行处理,分为Map和Reduce两个任务。

  • Map任务是将输入的数据分块后,将每个块的数据变成一个个键值对,并输出键值对列表。

  • Reduce任务是做键值对的统计,每个Reduce统计一个值的所有个数,最后每个Reduce的输出合并形成MapReduce的输出结果。

1

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/羊村懒王/article/detail/701981
推荐阅读
相关标签
  

闽ICP备14008679号