当前位置:   article > 正文

43- 大数据-hive 修改表六:添加分区_hive add partition

hive add partition

1、静态分区
1> 添加一个
alter table t2 add partition (city=‘shanghai’);
2> 添加多个
alter table t2 add partition (city=‘chengdu’) partition(city=‘tianjin’);
3> 添加分区指定位置
alter table log_mess add partition (year =2013,month=2,day=2) location ‘/user/2013/02/02’; --新的分区不在 log_mess的子目录中
4> 修改表,分区路径重新指定
alter table log_mess partition(year =2012,month=1,day=2) set location ‘/user/2012/01/02’;
这个命令不会将数据从旧的路径转移走,也不会删除旧的数据

2、动态分区

3、分区注意细节
尽量不要使用动态分区,因为动态分区将会为每一个分区分配reducer数量,当分区数量多的时候,reducer数量
将会增加,对服务器是一种灾难

动态分区和静态分区的区别,静态分区不管有没有数据都将会创建该分区,动态分区是有结果集将创建,否则不创建

hive动态分区的严格模式和hive提供的hive.mapred.mode的严格模式。
  hive提供我们一个严格模式:为了阻止用户不小心提交恶意hql
  hive.mapred.mode=nostrict : strict
  如果该模式值为strict,将会阻止以下三种查询:
   (1)、对分区表查询,where中过滤字段不是分区字段。
   (2)、笛卡尔积join查询,join查询语句,不带on条件 或者 where条件。
   (3)、对order by查询,有order by的查询不带limit语句

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/菜鸟追梦旅行/article/detail/692479
推荐阅读
相关标签
  

闽ICP备14008679号