赞
踩
大数据根本不存在改一个值。
2017年03月17日 15:52:17 post_yuan 阅读数:22861
版权声明:本文为博主原创文章,如需转载,请注明出处。 https://blog.csdn.net/Post_Yuan/article/details/62887619
Hive 加载数据主要有两种方式,一种是用Load直接加载文件,可以是从本地文件系统,也可以是从HDFS文件系统;Load方式不做任何的转换,只是纯粹的文件复制移动,关于Load加载详情,请见我的另一篇文章: http://blog.csdn.net/post_yuan/article/details/62883565
除了Load加载数据,Hive也支持Insert命令,下面就来详细介绍Hive不同的版本在Insert方面的支持和改进,
- INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
- INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;
- INSERT INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)](z, y) select_statement1 FROM from_statement;
- FROM from_statement
- INSERT OVERWRITE TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
- [INSERT OVERWRITE TABLE tablename2 [PARTITION ...] select_statement2]
- [INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2];
- INSERT OVERWRITE TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
- INSERT INTO TABLE tablename PARTITION (partcol1[=val1], partcol2[=val2] ...) select_statement FROM from_statement;
当INSERT往分区表插入数据时,我们可以指定分区字段名和值,分区字段的值是可选的,如果指定分区字段值,我们称之为静态分区,否则称之为动态分区。动态分区创建根据插入数据的列决定。在Hive 0.9.0版本以前,动态分区插入默认是关闭的,在Hive 0.9.0版本及更高版本,默认是打开的。关于动态分区插入,有几个相关的配置:
参数 | 默认值 | 注释 |
---|---|---|
hive.exec.dynamic.partition | true | 设置为true表示启用动态分区插入 |
hive.exec.dynamic.partition.mode | strict | strict模式时用户必须至少指定一个静态分区;nonstrict模式时所有分区都可能是动态分区 |
hive.exec.max.dynamic.partitions.pernode | 100 | 每个mapper/reducer节点允许创建的最大动态分区数 |
hive.exec.max.dynamic.partitions | 1000 | 总共允许创建的最大动态分区数 |
hive.exec.max.created.files | 100000 | 一个MR job中允许创建多少个HDFS文件 |
hive.error.on.empty.partition | false | 当动态分区插入产生空值时是否抛出异常 |
Hive支持从查询语句直接写入到文件系统,此处不做详细介绍
Hive 0.14版本开始,支持INSERT…VALUES语法,具体语法如下,
- INSERT INTO TABLE tablename [PARTITION (partcol1[=val1], partcol2[=val2] ...)] VALUES values_row [, values_row ...]
-
- values_row:
- (value [, value ...])
- value可以为null或者任意SQL语法
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。