CDH sqoop1的使用

1.mysql和pg数据库安装客户端：
yum install mysql
yum install postgresql-10
服务端：
yum install mysql-server
yum install postgresql-10-server
pg数据库root使用psql命令，将psql的bin路径添加到 ~/.bash_profile即可
2.测试sqoop导入
添加用户和权限：
创建组groupadd supergroup
添加用户useradd cdh -u 1001 -d /home/cdh/
将用户添加到组usermod -a -G supergroup cdh
将其他角色添加到组：
usermod -a -G supergroup hue
usermod -a -G supergroup yarn
usermod -a -G supergroup flume
usermod -a -G supergroup impala
usermod -a -G supergroup spark
usermod -a -G supergroup zookeeper
usermod -a -G supergroup mapred
usermod -a -G supergroup sqoop
usermod -a -G supergroup hive
usermod -a -G supergroup sqoop2
usermod -a -G supergroup oozie
usermod -a -G supergroup hbase
usermod -a -G supergroup hdfs
usermod -a -G supergroup kudu
usermod -a -G supergroup httpfs
usermod -a -G supergroup root

使用sqoop导入：
sqoop import
–connect jdbc:mysql://CDH:3306/yw
–username yunwei
–password yunwei@123
–query ‘select * from sell where 1=1 and $CONDITIONS’
–target-dir /etldata/data/20210110/sell
–delete-target-dir
–fields-terminated-by ‘\017’
–lines-terminated-by ‘\n’
–as-textfile
–null-non-string ‘’
–null-string ‘’
–split-by id

发现一直卡在running,不执行，yarn中发现程序在等待：
mapreduce.Job: Running job: job_1610257628469_0001
调整yarn管理内存
原因：yarn管理的内存资源不够了，在分配给MR作业运行的时候，jvm获得的运行内存低下，因此会卡着。
计算：每个hadoop守护进程使用1000MB内存，因此需要2000MB内存来运行一个datanode和一个节点管理器，另外，还要为运行在本机上的其他进程保留足够内存
调大内存即可，再测试sqoop
成功！