Sqoop学习笔记——关系数据库与hdfs间数据迁移_sqoop 同步到hdfs 每次同步都会生成新的part-m-00000

一、安装：

上传到hadoop集群的某一个节点上，将sqoop压缩包解压即可直接使用；

 

二、配置：

将需要连接的数据库（比如Oracle、MySQL）的连接驱动拷贝到 sqoop目录的lib里；

 

三、配置mysql远程连接

GRANT ALL PRIVILEGES ON ekp_11.* TO 'root'@'192.168.1.10' IDENTIFIED BY '123456' WITH GRANT OPTION;

FLUSH PRIVILEGES; 

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;

FLUSH PRIVILEGES

 

四、使用：

第一类：关系型数据库中的数据导入到HDFS上

1.1使用默认输出路径、指定导出的字段、设置map数量为1：

./sqoop import --connect jdbc:mysql://192.168.1.10:3306/ekp_11 --username root --password 123456  --table job_log --columns 'fd_id, fd_start_time, fd_end_time, fd_subject,fd_success' -m 1

      

执行成功后，会在hdfs的/user/目录下会根据操作的用户名自动生成同名的root目录，root 目录下会生成同表名的job_log 目录，在job_log 目录下就是真正的导入到hdfs的数据文件。如下图：

 

 

1.2指定输出路径、指定数据导入后的分隔符、指定