大数据开发之Hive案例篇13：Hive SQL 常见参数调整_hive.exec.max.created.files

一. 问题描述

hive的一些默认参数设置不适合一些复杂的数据需求场景，需要针对具体情况进行调整。

二. 解决方案

以下是常见的调参:

# 指定队列
set mapreduce.job.queuename=root.default;

# 在只有map的作业结束时合并小文件，默认开启true；
set hive.merge.mapfile=true;

# #在Map-Reduce的任务结束时合并小文件
set hive.merge.mapredfiles = true;

# #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
set hive.merge.smallfiles.avgsize = 256000000;

# #合并文件的大小
set hive.merge.size.per.task = 256000000;

# 在严格模式下，用户必须指定至少一个静态分区
# 以防用户意外覆盖所有分区。
set hive.exec.dynamic.partition.mode=nonstrict;

# 动态分区的个数
set hive.exec.max.dynamic.partitions=2000;

# 每个节点最大的动态分区个数
set hive.exec.max.dynamic.partitions.pernode=2000;

# 默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job
set hive.exec.max.created.files=1000000;

# 对 map 端的小文件进行合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

# 设置hive的执行引擎
set hive.execution.engine=spark;
set hive.execution.engine=mr;

# 单个map任务的内存资源
set mapreduce.map.memory.mb=2048;

# 单个reduce任务的内存资源
set mapreduce.reduce.memory.mb=2048;

# 虚拟内存
set yarn.nodemanager.vmem-pmem-ratio=4.1;

# 指定reduce的个数
set mapred.reduce.tasks = 15;

# 指定map的个数
Num_Map_tasks= $inputsize/ max($mapred.min.split.size, min($dfs.block.size, $mapred.max.split.size))
set mapred.max.split.size=10000000 ;
set mapred.min.split.size=10000000;
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51