MR -- MapReduce开发总结_mapreduce mr怎么写

作者：小舞很执着 | 2024-07-06 14:18:29

踩

mapreduce mr怎么写

编写 MR 程序，注意以下几点：
1、输入数据接口：InputFormat
在这里插入图片描述
2、逻辑处理接口：Mapper
根据需求，实现其中的三个方法：map()、setup()、cleanup()。

3、Partition 分区
在这里插入图片描述
4、Comparable 排序

5、Combiner 合并
Combiner合并可以提高程序的执行效率，减少 IO 传输。但是使用时，不能影响业务逻辑。

6、Reduce 端分组：GroupingComparator
在 Reduce 端对 key 进行分组。应用于：在接收的 key 为 bean 对象时候，想让一个或多个字段相同(全部字段比较不同)的 key 进入一个 reduce 方法时，可以采用分组排序。

7、逻辑处理接口：Reducer
用户根据业务需求实现其中三个方法：reduce()、setup()、cleanup()。

8、输出数据接口：OutputFormat
在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小舞很执着/article/detail/793053