【Hadoop-MapReduce】MapReduce编程步骤及工作原理_mapreduce编程基础

1）MapReduce的基本介绍：分布式计算框架

思想：分而治之

map：负责分的过程

reduce：负责合的过程

2）MapReduce的编程规范步骤

（1）map阶段：2步

1、读取数据，将读取过来的数据转换为k1和v1。

2、自定义map逻辑，将k1和v1转换为k2和v2。

（2）shuffle阶段: 4步（接收map阶段的k2和v2转换为new k2和v2）

3、分区 : 将相同的k2的数据发往同一个reduce。

4、排序 : 针对k2的数据进行排序工作。

5、规约 : mr中优化步骤，用于进行局部聚合功能，一般是可以省略的。

6、分组 : 将相同k2的数据分成一组，将v2的数据合并形成一个集合。

（3）reduce阶段: 2步

7、自定义reduce逻辑，接收k2和v2的数据，将其转换为k3和v3。

8、输出结果，将k3和v3输出到目的地。

注意：k2就是整个MR的灵魂。

3）MapReduce的并行度机制

何为并行度： 在执行MR的时候，map运行的数量以及reduce运行数量由谁来决定的问题。

（1）map运行的数量：取决于读取文件的大小，默认情况下，是按照128M一个Map来处理，同时每一个文件至少会有一个map来读取。MR对整个文件进行读取工作，然后对整个文件进行逻辑划分（FileSplit）：文件切片。

（2）reduce运行数量： 一般有人为来设定的，当业务需求要求结果是多个文件的时候，这个时候一般就要设置reduce的数量。一个reduce就会输出一个聚合结果，多个reduce就会输出多个聚合结果。同时reduce数量还取决分区的数量，如果进行`自定义分区，分区数量要和reduce是相等的。

4）map阶段的工作机制

（1）通过FileInputFormat读取目标地址的数据，通过FileInputFormat对目标数据进行FileSplit的逻辑分片数据，最终会启动多少个mapTask取决于FileSplit的逻辑分片的数量，读取后，将数据转换为K1和v1。

（2）自定义map逻辑，接收k1和v1，将k1和v1转换为k2和v2：读取一行，调用一次map逻辑，输出k2和v2。

（3）进行分区操作：map端输出一次k2和v2，那么分区逻辑就会对k2进行分区操作，默认采用HASH取模计算法，计算后，对k2进行分区标记。然后将标记好的k2和v2写入到环形缓冲区。

（4）随着不断写入到环形缓冲区，环形缓冲区默认的大小为100M，当达到缓冲区的80%的时候，MR会启动一个溢写线程，将80%数据写出到磁盘中，形成一个临时文件，在执行溢写过程中，还会对k2数据进行排序操作，如果设置了规约，那么也就会在这个时候执行了。

（5）不断的写入，不断的溢写，产生多个临时文件，当mapTask执行完成后，会将最后的缓冲区的数据一并写出磁盘上，然后开始进行合并操作，保证一个MapTask只会产生一个最终的结果文件，在合并的过程中，同样也会进行排序，并且有规约依然还会执行操作。

（6）当mapTask的结果文件形成后，静静等待reduceTask的拉取即可。

shuffle中: 分区 排序 规约 属于 map端的shuffle过程。

5）reduce阶段的工作流程:

（1）当map执行完成后，reduce开始执行拉取工作，每一个reduce到mapTask执行的结果文件中，拉取属于自己分区的数据。

（2）将数据首先拉取到内存中，当内存写满后，将数据溢写到磁盘上，形成多个临时文件，在溢写的时候，依然会对数据进行排序。

（3）当整个拉取工作结束后，对多个临时文件数据执行merge（合并）操作，将多个临时文件合并为一个结果文件，同时合并过程依然排序。

（4）对合并后的结果文件，开始执行分组操作，分好一组数据后，就会调用一次reduce的逻辑，reduce接收k2和v2的数据，将其转换为k3和v3。

（5）reduce每输出一次k3和v3，就会被FileOutPutFormat接收到，然后将数据追加到结果文`上。

（6）当整个reducer将所有的分组数据都处理完成，结果文件，也就产生了。

shuffle中：分组属于reduce的shuffle过程。