spark 终止运行_Spark应用程序终止执行程序

作者：从前慢现在也慢 | 2024-03-18 22:15:28

踩

got status update for unknown executor app-20231209221114-0005/0

我在独立模式下运行spark集群，并使用spark-submit运行应用程序。在spark UI阶段中，我发现执行阶段执行时间很长(> 10h，通常时间约30秒)。阶段有许多失败的任务，错误Resubmitted (resubmitted due to lost executor)。在舞台页面有Aggregated Metrics by Executor部分的地址为CANNOT FIND ADDRESS的执行者。 Spark试图无限次地重新提交此任务。如果我杀了这个阶段(我的应用程序会自动重新运行未完成的火花作业)，所有工作都会继续良好。Spark应用程序终止执行程序

另外，我在火花日志中发现了一些奇怪的条目(与stage执行开始时相同)。

站长：

16/11/19 19:04:32 INFO Master: Application app-20161109161724-0045 requests to kill executors: 0

16/11/19 19:04:36 INFO Master: Launching executor app-20161109161724-0045/1 on worker worker-20161108150133

16/11/19 19:05:03 WARN Master: Got status update for unknown executor app-20161109161724-0045/0

16/11/25 10:05:46 INFO Master: Application app-20161109161724-0045 requests to kill executors: 1

16/11/25 10:05:48 INFO Master: Launching executor app-20161109161724-0045/2 on worker worker-20161108150133

16/11/

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/265918

spark 终止 运行_Spark应用程序终止执行程序

spark 终止运行_Spark应用程序终止执行程序