当前位置:   article > 正文

Hadoop3:MR程序优化的相关参数介绍

Hadoop3:MR程序优化的相关参数介绍

一、Map阶段

在这里插入图片描述

二、Reduce阶段

在这里插入图片描述
4和5的参数配置,一般保持一致

三、总结

可以看出,优化的主要过程,就是Shuffle阶段
能不用Reduce,尽可能不用!

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/空白诗007/article/detail/844238
推荐阅读
  

闽ICP备14008679号