Sqoop从mysql导入数据至HDFS操作（sqoop初级）_sqoop导入数据到hdfs

 

后面文章打算用flume + kafka + SlipStream流处理结合起来做一个黑名单访问实时监测数据案例，所以就不单独介绍每个组件具体的用法了，直接在实战中让大家直观感受下在生产环境中这些组件是如何配套使用的。由于Sqoop比较独立，所以它的实践还是单独拿出来在本篇博文中讲解好了。

 

MySQL端操作（待导出的数据库）

1、创建用于导出数据用户并赋予权限。

以root用户登录mysql集群第一台节点。

mysql -uroot -p{$passwd} -P3316 -h{$ipaddr}

 

在root用户权限下为集群中每一台mysql服务器创建一sqoop用户sqoopuser ，后续导出数据操作即是用sqoopuser用户进行操作。（其实生产环境中是从备库导出）

create user 'sqoopuser'@'{$ipaddr1}' identified by '{$passwd}';
create user 'sqoopuser'@'{$ipaddr2}' identified by '{$passwd}';
create user 'sqoopuser'@'{$ipaddr3}' identified by '{$passwd}';

 

赋予sqoopuser权限。

grant all privileges on *.* to sqoopuser@'{$ipaddr1}';
grant all privileges on *.* to sqoopuser@'{$ipaddr2}';
grant all privileges on *.* to sqoopuser@'{$ipaddr3}';
flush privileges;

 

2、创建表，写入数据，以供后续导出

创建数据库以及数据表，并写入数据：

# 创建数据库并切换（此库中的数据即为后续要导入到HDFS上的数据）
create database db_jbw;
use db_jbw;
 
create table tbl_sqoop(
    id varchar(11),
    name varchar(11),
    age int,
    sex varchar(11)
);
 
insert into tbl_sqoop value('0001', 'jbw', 23, 'man');
insert into tbl_sqoop value('0002', '33', 18, 'girl');
insert into tbl_sqoop value('0003', 'jack', 23, 'woman');
insert into tbl_sqoop value('0004', '233', 23, 'woman');
insert into tbl_sqoop value('0005', 'zhansan', 23, 'man');
insert into tbl_sqoop value('0006', 'lisi', 23, 'man');
insert into tbl_sqoop value('0007', 'wangermazi', 23, 'man');
insert into tbl_sqoop value('0008', 'jbw2', 23, 'man');
insert into tbl_sqoop value('0009', 'jbw3', 23, 'man');
insert into tbl_sqoop value('0010', 'jbw4', 23, 'man');
 

 

数据如下：

 

3、拷贝数据库连接驱动

拷贝mysql-connector-java-5.1.38-bin.jar驱动到/sqoop/lib目录下：

cp /home/mysql-connector-java-5.1.38-bin.jar /sqoop/lib
chmod -R 777 /sqoop/lib/mysql-connector-java-5.1.38-bin.jar

 

4、利用Sqoop开始导出 

sqoop list命令：

# 列出所有数据库
sqoop list-databases --username sqoopuser --password 123456 --connect jdbc:mysql://{$yourDBIpAddr}:3316/
 
# 列出指定数据库下的所有表
sqoop list-tables --username sqoopuser --password 123456 --connect jdbc:mysql://{$yourDBIpAddr}:3316/{$yourTableName}

sqoop import命令：

sqoop import --username sqoopuser --password 123456 --connect jdbc:mysql://{$yourDBIpAddr}:3316/{$yourDBName} --query "select * from {$yourTableName} where \$CONDITIONS" --target-dir /tmp/jbw/sqoop_data/ --fields-terminated-by ',' --split-by id -m 1

查看导入成功后的HDFS对应目录上的文件（此HDFS目录事先不需要自己建立，Sqoop会在导入的过程中自行建立） 

hadoop fs -ls /tmp/jbw/sqoop_data

最后我们基于HDFS建立数据外表即可，后续根据业务需要建立内表并从外表中导入所需数据即可！