赞
踩
Hive运行任务报错: Starting to launch local task to process map join; maximum memory = 477626368
Exception in thread “main” java.lang.OutOfMemoryError: Java heap space
解决:关闭本地模式、mapjoin,或调高mapjoin最大内存使用率,提高MR各运行内存参数等:
hive (dw)> set hive.auto.convert.join=false;
hive (dw)> set hive.mapjoin.localtask.max.memory.usage=0.99;
hive (dw)> set hive.ignore.mapjoin.hint=false;
hive (dw)> set mapred.max.split.size=128000000;
hive (dw)> set mapreduce.map.memory.mb=4096;
hive (dw)> set mapreduce.reduce.memory.mb=8192;
hive (dw)> set yarn.scheduler.minimum-allocation-mb=2048;
hive (dw)> set mapred.child.java.opts=-Xmx4096m;
在运行,任务顺利跑完,但运行时较开启mapjoin和本地模式时慢
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。