sqoop从mysql往hive导数据突然变慢_sqoop import突然变得很慢

作者：2023面试高手 | 2024-02-25 13:55:11

踩

sqoop import突然变得很慢

现象: (sqoop速度越来越慢,直到2021-02-26号,集群调整配置后,速度才恢复)

查看sqoop的执行日志发现:在这个时间段停滞了

我追踪了一下sqoop执行过程:

strace -f -o /root/sqoop sqoop import --connect jdbc:mysql://172.16.171.33:3306/test?tinyInt1isBit=false --username root --password 123456 --table 'cs_buy_course' --split-by id -m 6 --target-dir /user/root/node07_cs_buy_course10436631221

发现sqoop执行时,要在对应job上上传jar,这个过程超级慢,我手动上传相关jar包发现速度很快,感觉是它内部通信的问题

我就查了一下nn的日志,还有dn的日志,发现

声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：【wpsshop博客】