hive on mr参数配置_hive on mr限制map和reduce最大内存

MR参数：

set mapreduce.job.queuename=queue_name;    #设置作业提交队列

set hive.execution.engine=mr;                              #设置计算引擎

set mapreduce.map.memory.mb=4096;               #设置map内存

set mapreduce.map.java.opts=-Xmx3276;           #设置map jvm内存(小于map内存)

set mapreduce.reduce.memory.mb=4096;           #设置reduce内存

set mapreduce.reduce.java.opts=-Xmx3072;       #设置reduce jvm内存(小于reduce内存)

#文件切分
set dfs.block.size = 256000000;                            #设置每个block的大小，控制map数

#合并小文件

#Map输入合并小文件
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;   #执行Map前进行小文件合并
set mapred.max.split.size=256000000;                                              #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000;                                #一个节点上split的至少的大小 
set mapred.min.split.size.per.rack=100000000;