记录SparkSql向hive的动态分区表插入数据失败的bug问题_org.apache.spark.sparkexception: dynamic partition

记录SparkSql向hive表中插入数据失败的bug问题

报错信息

• 报错如下：
  Exception in thread “main” org.apache.spark.Sparkexception：Dynamic partition strict mode requires at least one static partition column;

报错的原因

在hive表中通过子查询插入数据到分区表时报的错误。
因为要做动态分区, 所以要先设定partition参数，由于default是false, 需要额外下指令打开这个开关。
default是strick, 表示不允许动态分区, 所以要改成nostrick。

解决方法：

• set hive.exec.dynamic.partition=true;
• set hive.exec.dynamic.partition.mode=nostrick;
  如果是租户环境无法修改配置，可以将这两个设置语句加到 hive SQL的前两行，然后无论是hive -f执行该SQL文件，或者是使用Spark去执行hive SQL都不会影响，可以完美的解决！！