Hive(五) Hive参数与动态分区_hive动态分区初始化

作者：花生_TL007 | 2024-04-17 04:19:12

踩

hive动态分区初始化

Hive 参数与动态分区

1Hive 参数

1.1 hive 当中的参数、变量，都是以命名空间开头

通过${}方式进行引用，其中 system、env 下的变量必须以前缀开头。

1.2 hive 参数设置方式

1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml

2、启动 hive cli 时，通过--hiveconf key=value 的方式进行设置

例：hive --hiveconf hive.cli.print.header=true

3、进入 cli 之后，通过使用 set 命令设置

注意：2 和 3 两种方式设置的参数只在当前会话有效。

1.3 hive set 命令

在 hive CLI 控制台可以通过 set 对 hive 中的参数进行查询、设置

set 设置：

set hive.cli.print.header=true;

set 查看

set hive.cli.print.header；查看该参数的值

set;查看 hive 的所有参数。

hive 历史操作命令集

~/.hivehistory

hive 参数初始化配置

当前用户家目录下的.hiverc 文件

如: ~/.hiverc

如果没有，可直接创建该文件，将需要设置的参数写到该文件中，hive 启动运行时，会加载改文件中的配置。

[root@node4 ~]#vim .hiverc
set hive.cli.print.header=true;
[root@node4 ~]#hive
hive>

2 hive 动态分区

开启支持动态分区

set hive.exec.dynamic.partition=true;

默认：true

set hive.exec.dynamic.partition.mode=nostrict;

默认：strict 严格模式

(比如订单表以秒为单位创建分区，将会导致特别多的分区，严格模式一般不允许，但是非严格模式允许）。

nostrict:非严格模式

案例演示：

创建原始数据表

create table person21(
id int,
name string,
age int,
gender string,
likes array<string>,
address map<string,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':';

load data local inpath '/root/data/person21.txt' into table person21;

create table person22(
id int,
name string,
likes array<string>,
address map<string,string>
)
partitioned by(age int,gender string)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':';

加载数据

from person21
insert overwrite table person22 partition(age, gender)
select id, name,likes, address,age, gender distribute by age, gender;

或简写为：

from person21
insert overwrite table person22 partition(age, gender)
select id, name,likes, address,age, gender;

注意：分区字段一定要写到最后面，否则容易出错。

show partitions person22;#查询某表上的分区