Sqoop的安装和使用__hdfs和关系型数据库之间数据的导入和导出_sqoop软件能够实现关系数据库和hdfs数据之间的传输,在数据导入、导出时都要生

Sqoop
1.用于hdfs和关系型数据库之间数据的导入和导出的一个开源工具
2.可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs
Sqoop的安装
1.官网网站http://sqoop.apache.org下载对应的安装包
2.安装包解压后配置环境变量

3.上传mysql数据库连接包到sqoop/lib目录

4.安装成功

Sqoop的使用
1.帮助指令
sqoop import -help

2.查看mysql所有数据库
sh sqoop list-databases --connect jdbc:mysql://yangjjhost:3306/ -username root -password xxxxxx

3.查看指定数据库下的所有表
sh sqoop list-tables --connect jdbc:mysql://yangjjhost:3306/hive -username root -password xxxxx

4.关系型数据库 ->hdfs
先在mysql数据库的test数据下建立一张tabx表，并插入测试数据
建表：create table tabx (id int,name varchar(20));插入： insert into tabx (id,name) values (1,‘aaa’),(2,‘bbb’),(3,‘ccc’),(1,‘ddd’),(2,‘eee’),(3,‘fff’);

执行导入语句：
sqoop import --connect jdbc:mysql://yangjjhost:3306/hive --username root --password xxxxx --table tabx --target-dir ‘/sqoop/tabx’ --fields-terminated-by ‘|’ -m 1;

文件在HDFS上已经生成

5.hdfs ->关系型数据库

注：sqoop只能导出数据，不能自动建表。所以在导出之前，要现在mysql数据库里建好对应的表

执行导出语句：
sqoop export --connect jdbc:mysql://yangjjhost:3306/hive --username root --password xxxxx --export-dir ‘/sqoop/tabx/part-m-00000’ --table tabxy -m 1 --fields-terminated-by ‘|’；

数据已经导出