赞
踩
最近在遇到在将一张表的数据批量导入到一个按天分区的分区表中(原始表数据包含几年的数据),在入数的过程中发现直接insert
一直卡在map端,运行很久也没有进度,此时du 看了下中间过程的临时文件大小,发下是有在写入的但是很慢,此时目录下也有很多
临时的文件每个map会输出每个分区的文件,这样在目标分区过多时就会面临map需要输出很多文件,问题确定了那怎么解决呢?
既然这里是生成的临时文件过多,那我们可以是否可以想个方式去合并这些文件呢?答案是可以的此时我们可以加个 distribute by 分区字段这样相同分区的数据就会到一个reduce 就避免了生成过多临时文件的问题(在测试过程中一开始用了distribute by rand() 发现每个reduce都会生成一个目标分区 的文件,这样实际虽然可能跑的过但是带来了了目标文件过多过小的问题)。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。