解决HIVE集群启动，yarn任务调度初始化时，非常慢_yarn 分配任务慢

作者：AllinToyou | 2024-05-04 00:19:28

踩

yarn 分配任务慢

问题描述：

现网新部署的HIVE集群，通过应用测试环境打包镜像部署，HIVE集群配置与测试环境保持一致，使用hive命令链接集群时，响应时间较慢，并且查询数据量较少的表时，查询时间远远大于正常时间，无相关报错日志，所有机器cpu、内存资源都较充足。

问题处理：

为解决该问题，把所有yarn任务都关停，开启简单单任务，观察任务执行情况，发现在单任务情况下，yarn top命令也需要较长时间才能显示，显示结果都正常，并排查集群资源占用情况，都属于正常范围。经过多次任务启停、集群启停发现时间都超过40s后才能够正常。

观察启动日志如下图：

启动时确实卡住40s的时间

通过日志查看hadoop源码，找到相关卡住函数如下：

在获取hostname时，超时

最终分析DNS配置错误，由于是内网环境，但配置了公网DNS地址，导致DNS解析超时

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/532267

解决HIVE集群启动，yarn任务调度 初始化时，非常慢_yarn 分配任务慢