当前位置:   article > 正文

使用Sqoop实现Mysql到Hive的数据导入_sqoop将mysql数据导入hive

sqoop将mysql数据导入hive

使用sqoop将mysql数据导入至hive的本质,其实是数据先导入至hdfs,然后会有一个脚本去执行将hdfs的数据load至hive中。所以我们将数据导入到hive时,其实hdfs中也会有这个数据。

使用sqoop将数据导入至hive时,需要用到一个hive-common-xxx.jar下面的一个类,所以我们需要先将这个jar包上传至sqoop的lib目录下:

  • 添加jar
[root@hadoop01 ~]# cp $HIVE_HOME/lib/hive-common-2.3.9.jar $SQOOP_HOME/lib
  • 启动hive
[root@hadoop02 ~]# hive --service metastore &
  • 导入数据
  1. sqoop import --connect jdbc:mysql://hadoop03:3306/test_sqoop --username root --password 123456 --table emp --hive-import --hive-overwrite --fields-terminated-by ',' --hive-table 'test_data.emp';
  2. #导入数据时没有指定在hive中表的名字,那么会直接使用原来在mysql中的表的名字,所以这里数据导入到hive时表名还为emp
  3. #--hive-table 'test_data.emp'指定hive中的库ming.表明,如果不指定,默认导入至default库中
  • 在hive客户端查看数据
  1. hive> use test_data;
  2. OK
  3. Time taken: 0.105 seco
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小桥流水78/article/detail/822579
推荐阅读
相关标签
  

闽ICP备14008679号