当前位置:   article > 正文

Hive数据导出的四种方法_hive 数据导出

hive 数据导出

hive数据仓库有多种数据导出方法,我在本篇文章中介绍下面的四种方法供大家参考:Insert语句导出、Hadoop命令导出、Hive shell命令导出、Export语句导出。

一、Insert语句导出

语法格式

Hive支持将select查询的结果导出成文件存放在文件系统中。语法格式如下;

注意:导出操作是一个OVERWRITE覆盖操作,慎重

目录可以是完整的URI。Hive使用hadoop配置变量fs.default.name来决定导出位置;

如果使用LOCAL关键字,则Hive会将数据写入本地文件系统上的目录;

写入文件系统的数据被序列化为文本,默认列之间用\001隔开,行之间用换行符隔开。

代码示例:

  1. --标准语法:
  2. INSERT OVERWRITE [LOCAL] DIRECTORY directory1
  3. [ROW FORMAT row_format] [STORED AS file_format]
  4. SELECT ... FROM ...
  5. --Hive extension (multiple inserts):
  6. FROM from_statement
  7. INSERT OVERWRITE [LOCAL] DIRECTORY directory1
  8. ROW FORMAT DELIMITED FIELDS TERMINATED BY ...
  9. select_statement1
  10. [INSERT OVERWRITE [LOCAL] DIRECTORY directory2
  11. ROW FORMAT DELIMITED FIELDS TERMINATED BY ...
  12. select_statement2] ...

演示

  1. --1、导出查询结果到HDFS指定目录下
  2. insert overwrite directory '/test1' select * from users;
  3. --2、导出时指定分隔符和文件存储格式
  4. insert overwrite directory '/test1' row format delimited fields terminated by ','
  5. stored as orc
  6. select * from users;
  7. --3、导出数据到本地文件系统指定目录下
  8. insert overwrite local directory '/home/huser/test1' row format delimited fields terminated by ','
  9. select * from users;

二、Hadoop命令导出

Hadoop命令将HDFS中的数据导出到本地文件系统指定目录中:

  1. --在hive客户端执行
  2. dfs –get /user/hive/warehouse/demo.db/users_default.txt
  3. /home/root/users.txt
  4. --Linux本地执行
  5. hadoop fs -get /user/hive/warehouse/demo.db/users_default.txt /home/root/users.txt

三、Hive shell命令导出

1.基本语法:hive -e HQL语句 > filepath

hive –e ' select * from demo.users' > /home/root/test/users.txt

2.基本语法:hive -f 执行脚本 > filepath

将HQL语句存储在执行脚本文件中,将执行脚本文件的执行结果存储在指定目录下的文件中。例如,hivef.sql脚本文件中存储HQL语句“select *from demo.user;”,执行hivef.sql脚本文件中的查询语句,并将查询结果输出到

hive –f ' hive.sql' > /home/root/test/users2.txt

四、Export语句导出

Export语句导出是将Hive表中的数据导出到Hadoop集群的HDFS中的其他目录下:

export table users to/user/hive/warehouse/export’;

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/409928
推荐阅读
相关标签
  

闽ICP备14008679号