当前位置:   article > 正文

Hadoop之MapReduce(实践篇)_mapreduce应用广泛的原因之一就是其易用性,提供了一个高度抽象化而变得非常简单的

mapreduce应用广泛的原因之一就是其易用性,提供了一个高度抽象化而变得非常简单的

1、MapReduce编程模型概述

MapReduce应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。MapReduce是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架,它适用的应用场景往往具有一个共同的特点:任务可被分解成相互独立的子问题。基于该特点,MapReduce编程模型给出了其分布式编程方法,共分5个步骤:

  • 迭代(iteration):遍历输入数据,并将之解析成key/value对;

  • 将输入key/value对映射(map)成另外一些key/value对;

  • 依据key对中间数据进行分组(grouping);

  • 以组为单位对数据进行规约(reduce);

  • 迭代。将最终产生的key/value对保存到输出文件中。

MapReduce将计算过程分解成以上5个步骤带来的最大好处是组件化和并行化。

为了实现MapReduce编程模型,Hadoop设计了一系列对外编程接口。从MapReduce自身的命名特点可以看出,MapReduce由两个阶段组成:Map阶段和Reduce阶段。用户只需要编写map()和reduce()两个方法,即可完成简单的分布式程序的设计实现。

map()方法以key/value对作为输入,产生另外一系列key/value对作为中间输出写入本地磁盘。MapReduce框架会自动将这些中间数据按照key值进行聚集,且key值相同(用户可以设定聚集策略,默认情况下是对key值进行哈希取模)的数据被统一交给reduce()方法处理。

reduce()方法以key及对应的value列表作为输入,经合并key相同的value值后,产生另外一系列key/value对作为最终输出写入HDFS。

2、MapReduce编程入门之”HelloWorld”

下面以MapReduce中的“helloworld”程序——WordCount为例介绍程序设计方法。

“hello world”程序是我们学习任何一门编程语言编写的第一个程序,它简单且易于理解,能够帮助我们快速入门。同样,分布式处理框架也有自己的“hello world”程序:WordCount。它完成的功能是统计输入文件中的每个单词出现的次数。

下面是本人自己编写的HelloWorld程序——MyWordCount。

MyWordCountMapper.java程序代码,如下图所示。因为MyWordCount是这篇文章的第一个程序,因此在这里就做详细的解释,后续的程序就只做简单的注释了。

这里写图片描述

MyWordCountReducer.java程序代码,如下图所示。

这里写图片描述

MyWordCountMain.java主程序代码,如下图所示。

这里写图片描述

编写完MapReduce程序后,按照一定的规则制定程序的输入和输出目录,并提交到Hadoop集群中。作业在Hadoop中的执行过程如下图所示。Hadoop将输入数据切分成若干个输入分片(input split),并将每个split交给一个Map Task处理;Map Task不断地从对应的split中解析出一个个key/value对,并调用map()方法进行处理,处理完之后根据Reduce Task个数将结果分成若干个分区(partition)写到本地磁盘;同时,每个Reduce Task从每个Map Task上读取属于自己的那个partition,然后使用基于排序的方法将key相同的数据聚集在一起,调用reduce()方法进行处理,并将最终结果输出到文件中。

下图为MyWordCount程序执行的过程。

这里写图片描述

MyWordCount程序在HDFS上执行的结果,如下图所示。

这里写图片描述

细心的你也许已经注意到,上面的程序还缺少三个基本组件,它们的功能分别是:1、指定输入文件格式。将输入数据切分成若干个split,且将每个split中的数据解析成一个个map()方法要求的key/value对;2、确定map()方法产生的每个key/value对发给哪个Reduce Task方法处理;3、指定输出文件格式,即每个key/value对以何种形式保存到输出文件中。

在Hadoop MapReduce中,这三个组件分别是InputFormat、Partitioner和OutputFormat,它们均需要用户根据自己的应用需求进行配置。而对于上面的WordCount程序实例,默认情况下Hadoop采用的默认实现正好可以满足要求,因而不必再提供。综合来看,Hadoop MapReduce对外提供了5个可编程组件,分别是InputFormat、Mapper、Partitioner、Reducer以及OutputFormat。

下面再举一个比较简单的例子,对一张员工表求每个部门的工资总额,表中的数据内容如下图所示,每一行的对应的列名分别为:

1、员工号;2、员工姓名;3、职务;4、老板号;5、入职日期;6、工资;7、奖金;8、部门号。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/正经夜光杯/article/detail/780741
推荐阅读
相关标签
  

闽ICP备14008679号