Spark学习之路——5.Spark UI_如何通过spark ui查看spark任务执行过程

作者：小小林熬夜学编程 | 2024-04-19 00:08:59

踩

如何通过spark ui查看spark任务执行过程

一、Spark UI解读

Jobs页面可以看到所有Jobs的执行情况，job的数量取决于action算子的数量。

Stages页面列出所有Stage的执行情况。Spark stage切分是按照宽依赖来区分的，因此粒度上要比job更细一些。

Storage页面显示所做的cache persist等操作。

Environment页面里面展示了当前spark所依赖的环境，比如jdk，lib等等

Executors页面显示executor运行情况，这里可以看到执行者申请使用的内存以及shuffle中input和output的内存等数据。

①Local模式：

②standalone模式

③yarn模式

①local模式

②standalone模式

③yarn-client模式

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/448991