Hive的小文件处理_hive小文件

针对ORC存储格式的小文件

--orc合并小文件的特定语法,使用concatenate(连接、使连续)关键字
--非分区表
alter table table_name concatenate;

--分区表
alter table table_name partition(dt=xxx) concatenate;
1
2
3
4
5
6

针对TEXTFILE存储格式的小文件

--将这些小文件进行合并,这里使用distribute by floor(rand()*5)将所有的小文件数据归并到4个文件中
insert overwrite table table_name  
select col1,col2,col3,col4,col5 from table_name 
distribute by floor(rand()*5);
1
2
3
4

针对HDFS上的小文件

Hadoop Archive简称HAR，是一个高效地将小文件放入HDFS块中的文件存档工具，
它能够将多个小文件打包成一个HAR文件，这样在减少namenode内存使用的同时，仍然允许对文件进行透明的访问。

使用归档之前，先设置如下3个参数：

#用来控制归档是否可用
set hive.archive.enabled=true;
#通知Hive在创建归档时是否可以设置父目录
set hive.archive.har.parentdir.settable=true;
#控制需要归档文件的大小
set har.partfile.size=1099511627776;


# 使用以下命令进行归档
ALTER TABLE A ARCHIVE PARTITION(dt='2020-12-24', hr='12');
# 对已归档的分区恢复为原文件
ALTER TABLE A UNARCHIVE PARTITION(dt='2020-12-24', hr='12');

# 归档的分区可以查看不能 insert overwrite，必须先 unarchive

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20