当前位置:   article > 正文

hive小文件处理方法_hive truncate interrupt fileutils.movetotrash

hive truncate interrupt fileutils.movetotrash
hive方法处理
set hive.merge.mapfiles=true; -- map only job 结束是合并小文件
set hive.merge.mapredfiles=true; -- 合并reduce输出的小文件
set hive.merge.smallfiles.avgsize=256000000; -- 当输出文件平均大小小于该值,启动新job合并文件
set hive.merge.size.per.task=128000000; -- 合并之后的每个文件大小128M
set hive.exec.dynamic.partition.mode=nonstrict; -- 动态分区
set mapreduce.job.queuename=data_rd; --设置队列
set hive.exec.max.dynamic.partitions=10000; -- 设置分区数,默认100
set hive.exec.max.dynamic.partitions.pernode=10000; -- 设置分区数, 默认100
set parquet.memory.min.chunk.size=100000; -- 暂时还不知道这是设置了啥
insert overwrite table tableName partition(columnName) select * from tableName;
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
方法二: 针对按分区插入数据的时候产生大量的小文件的问题, 可以使用DISTRIBUTE BY rand() 将数据随机分配给Reduce,这样可以使得每个Reduce处理的数据大体一致.
# 设置每个reducer处理的大小为5个G
set hive.exec.reducers.bytes.per.reducer=5120000000;

# 使用distribute by rand()将数据随机分配给reduce, 避免出现有的文件特别大, 有的文件特别小
insert overwrite table test partition(dt)
select * from iteblog_tmp
DISTRIBUTE BY rand();

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

方法三: 使用Sequencefile作为表存储格式,不要用textfile,在一定程度上可以减少小文件

方法四: 使用hadoop的archive归档

set mapreduce.job.queuename=data_rd;
#用来控制归档是否可用
set hive.archive.enabled=true;
#通知Hive在创建归档时是否可以设置父目录
set hive.archive.har.parentdir.settable=true;
#控制需要归档文件的大小
set har.partfile.size=1099511627776;

#使用以下命令进行归档
ALTER TABLE srcpart ARCHIVE PARTITION(ds='2008-04-08', hr='12');

#对已归档的分区恢复为原文件
ALTER TABLE srcpart UNARCHIVE PARTITION(ds='2008-04-08', hr='12');

#::注意,归档的分区不能够INSERT OVERWRITE,必须先unarchive
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15

补充: hadoop自带的三种小文件处理方案 – Hadoop Archive,Sequence file和CombineFileInputFormat.

Hadoop Archive

Hadoop Archive或者HAR,是一个高效地将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样在减少namenode内存使用的同时,仍然允许对文件进行透明的访问。

Sequence file

sequence file由一系列的二进制key/value组成,如果为key小文件名,value为文件内容,则可以将大批小文件合并成一个大文件。

CombineFileInputFormat

它是一种新的inputformat,用于将多个文件合并成一个单独的split,另外,它会考虑数据的存储位置。

声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号