Mysql导入数据到HDFS_头哥mysql导入数据至hdfs上

1、启动HDFS

sbin/start-dfs.sh

2、启动yarn

sbin/start-yarn.sh (在resourcemanager节点启动，端口8088)

3、启动zookeeper

bin/zkServer.sh start

4、sqoop导入

hdfs会自动创建对应保存路径

bin/sqoop import \
--connect jdbc:mysql://xxx:3306/fire_data \
--username root \
--password xxx \
--table Equipment1 \
--target-dir /firedata/equipment1 \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

1
2
3
4
5
6
7
8
9
10

如果指定num-mappers>1,那么需要同时配置split-by 列名(以哪个列切分),以便程序进行maptask切片（数据分成几块存储）

bin/sqoop import \
--connect jdbc:mysql://xxx:3306/company \
--username root \
--password xxx \
--table staff \
--target-dir /user/company \
--delete-target-dir \   
--num-mappers n \
--split-by id \
--fields-terminated-by "\t"

1
2
3
4
5
6
7
8
9
10
11