mapreduce的setup方法_mapreduce的setup方法_mapreduce流程

mapTask运行机制

mapTask并行度：同时存在几个mapTask

TextInputFormat中的getSplits方法返回的是切片数目，有多少切片就有几个mapTask。

获取文件的切片的几个参数控制：

mapred.min.split.size 没有配置的话默认值是1

mapred.max.split.size 没有配置的话默认值是 Long.MAX_VALUE

如果没有配置上面这两个参数，我们文件的切片大小就是128M，与我们的block块相等

正常一个block块对应一个mapTask

mapTask流程

1、inputFormat读取文件数据，并解析为相对应的键值对k1,v1

2、自定义map程序，解析为我们想要的k2,v2

3、在写入环形缓冲区前会进入分区阶段，每个数据指定将要进入哪一个reduce

4、写入环形缓冲区。环形缓冲区默认大小为100M，当写入的数据到达80M的时候，会启动溢写。

5、在溢写的时候会对溢写数据进行排序，然后再写入磁盘的临时文件中。

6、当该mapTask数据写入完成后，所有临时文件会合并成一个大文件

mapTask基础设置配置

设置一：设置环型缓冲区的内存值大小(默认设置如下)

mapreduce.task.io.sort.mb 100

设置