【Spark】调整hive表在HDFS存的每个文件的大小_spark on yarn hadoop中存储hive文件part大小默认设置

作者：小丑西瓜9 | 2024-06-16 19:56:24

踩

spark on yarn hadoop中存储hive文件part大小默认设置

配置参数：

spark.hadoop.hive.exec.orc.default.stripe.size=78643200
spark.hadoop.orc.stripe.size=78643200
spark.hadoopRDD.targetBytesInPartition=78643200
spark.hadoop.hive.exec.dynamic.partition.mode=nonstrict
spark.sql.sources.partitionOverwriteMode=dynamic
spark.sql.hive.convertMetastoreOrc=true
1
2
3
4
5
6

注意代码里的.repartition(5000)这种要删掉

spark.sql.shuffle.partitions=5000这个配置参数也要删掉

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小丑西瓜9/article/detail/728024