赞
踩
1、静态分区
1> 添加一个
alter table t2 add partition (city=‘shanghai’);
2> 添加多个
alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);
3> 添加分区指定位置
alter table log_mess add partition (year =2013,month=2,day=2) location ‘/user/2013/02/02’; --新的分区不在 log_mess的子目录中
4> 修改表,分区路径重新指定
alter table log_mess partition(year =2012,month=1,day=2) set location ‘/user/2012/01/02’;
这个命令不会将数据从旧的路径转移走,也不会删除旧的数据
2、动态分区
3、分区注意细节
尽量不要使用动态分区,因为动态分区将会为每一个分区分配reducer数量,当分区数量多的时候,reducer数量
将会增加,对服务器是一种灾难
动态分区和静态分区的区别,静态分区不管有没有数据都将会创建该分区,动态分区是有结果集将创建,否则不创建
hive动态分区的严格模式和hive提供的hive.mapred.mode的严格模式。
hive提供我们一个严格模式:为了阻止用户不小心提交恶意hql
hive.mapred.mode=nostrict : strict
如果该模式值为strict,将会阻止以下三种查询:
(1)、对分区表查询,where中过滤字段不是分区字段。
(2)、笛卡尔积join查询,join查询语句,不带on条件 或者 where条件。
(3)、对order by查询,有order by的查询不带limit语句
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。