hive文件过多问题总结_hive查询数据弹出文件过多

一、输入文件过多

1、Hive的创建文件数的限制

Hive对文件创建的总数是有限制的，这个限制取决于参数：hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job

解决办法：

最简单的解决办法就是调大hive.exec.max.created.files参数。但是如果说数据文件只有400G，那么你调整这个参数比如说40000。平均下来也就差不多每一个文件10.24MB,这样的话就有40000多个小文件，我们知道小文件对于hadoop来讲，不是一件很好的事情。

2、Hive之中小文件问题

我们知道小文件的对于Hadoop来讲，在小文件很多的时候，可以把NameNode搞挂掉。
Hive里面什么时候会产生大量小文件呢?

一个大文件使用动态分区，可能导致大量分区产生，从而产生多很多小文件，也会导致很多的mapper。Reduce个数越多，小文件越多，Reduce个数和输出文件是一样的
小文件会带来什么影响呢？
文件的数量和大小会决定mapper任务的数量，所以小文件越多，mapper任务越多，每一个mapper都会启动一个JVM来运行，所以这些任务的初始化和执行会花费大量的资源，严重影响性能。在NameNode每一个小文件的大约占150字节，小文件太多，会严重影响NameNode
##解决办法：
如果动态分区不可预知的情况下，最好别用，如果用也最好distributedby 分区字段，这样我们知道会对字段进行一个hash操作，这样就会把相同的相同的分区给同一个Reduce去处理。如果Reduce数量太多，则减少reduce的数量

进行一些参数设置

设置 mapper输入文件合并一些参数

-- mapper执行前进行小文件的合并
hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
-- 每一个mapper最大的输入大小
mapred.max.split.size = 256000000 
-- 一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并)
mapred.min.split.size.per.node = 100000000
-- 一个机架下split的至少的大小(这个值决定了该机架下的文件是否需要合并)
mapred.min.split.size.per.rack = 100000000
1
2
3
4
5
6
7
8

二、程序中间过程生成文件过多

进行一些参数设置

输出合并(可以作用于insert into 输出)

-- 在Map-only的任务结束时合并小文件
set hive.merge.mapfiles=true
-- 在Map-Reduce的任务结束时合并小文件
set hive.merge.mapredfiles=true
-- 合并文件的大小
set hive.merge.size.per.task=128000000;（这俩个值尽量大小相等，不然会数据倾斜）
-- 当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
set hive.merge.smallfiles.avgsize=128000000;
1
2
3
4
5
6
7
8

三、输出文件过多

进行一些参数设置

-- 设置reduce的个数
-- set mapred.reduce.tasks=50; 适用于hadoop1.x
set mapreduce.job.reduces=500;

insert into table xxx
select
  *
from
 xxx
distribute by rand();
-- 设置reduce的大小
set hive.exec.reducers.bytes.per.reducer=5120000000;
insert into table xxx
select
  *
from
 xxx
distribute by rand();
-- distribute by rand()保证了reduce中的数据随机分配，大小大致相同
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19