当前位置:   article > 正文

Hive: launch local task process map join; Exception:OutOfMemoryError: Java heap space_starting to launch local task to process map join

starting to launch local task to process map join

Hive运行任务报错: Starting to launch local task to process map join; maximum memory = 477626368
Exception in thread “main” java.lang.OutOfMemoryError: Java heap space
解决:关闭本地模式、mapjoin,或调高mapjoin最大内存使用率,提高MR各运行内存参数等:
hive (dw)> set hive.auto.convert.join=false;
hive (dw)> set hive.mapjoin.localtask.max.memory.usage=0.99;
hive (dw)> set hive.ignore.mapjoin.hint=false;
hive (dw)> set mapred.max.split.size=128000000;
hive (dw)> set mapreduce.map.memory.mb=4096;
hive (dw)> set mapreduce.reduce.memory.mb=8192;
hive (dw)> set yarn.scheduler.minimum-allocation-mb=2048;
hive (dw)> set mapred.child.java.opts=-Xmx4096m;

在运行,任务顺利跑完,但运行时较开启mapjoin和本地模式时慢

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/539706
推荐阅读
相关标签
  

闽ICP备14008679号