Hive 分区表 Select 优化_两个hive表传输一个快一个慢原因

Hive 分区表 Select 优化

 

对hive分区表执行select操作时，经常执行很慢，原因竟是因为一个点！

 

优化适配情况：

分区表执行select操作where选择某一分区或多个分区查询

操作：

where条件内分区选择时 在分区字段上加单引号' '

原始写法：

hive -e "select * from table where dt=20200709"

修改后写法:

hive -e "select * from table where dt='20200709'"

 

实际测试：

单分区测试：

增加前执行select操作，mapper数为45004:

增加前执行select操作，mapper数为3000:

 

多分区测试：

增加前执行select操作，mapper数为45004:

增加前执行select操作，mapper数为1500:

 

Tip:

分区表执行select操作，这里不加引号' '，hive会默认从全部分区扫一遍，因此会启动很多mapper去扫，把满足条件的记录下来，所以不管一个分区还是两个分区条件，都启动了45000个mapper，相当于是全部分区扫描；加了' '相当于指定分区，单分区情况下启动3000mapper，加到双分区时变成1500个mapper，说明dt分区下type分区有两个小分区，如果指定第二个分区时，mapper数变为1000，则说明dt分区下包含(3000/1000=3）个小分区。至于效率提升，跑一下就了解啦，绝对不会失望~