当前位置:   article > 正文

大数据之 Spark 常用的端口号_spark ui端口

spark ui端口

Spark 常用的端口号包括:

  1. Driver Web UI 端口:4040,这是 Spark 应用程序(Driver)运行时绑定的端口,用于展示任务运行状态、执行进度、任务细节等监控信息。

  2. Spark Master 服务端口:7077,这是 Spark 在 Standalone 模式下的主节点(Master)与 Worker 节点通信的服务端口,客户端提交应用时也会连接此端口。

  3. Spark Master Web UI 端口:默认为 8080,但这个端口可能会根据实际情况自动调整或手动配置,用户可以通过该端口查看集群的总体状态和各个应用程序的信息。

  4. Spark Worker Web UI 端口:默认情况下,Worker 的 Web UI 端口可能不是固定的,通常会是 8081 或者在 808x 范围内,具体取决于启动时的配置或者系统分配的端口。

  5. Spark History Server 端口:18080,历史服务器提供已完成作业的持久化存储和查询功能,用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。

需要注意的是,这些端口号都可以在 Spark 配置文件中进行自定义设置以满足不同的环境需求。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/626811
推荐阅读
相关标签
  

闽ICP备14008679号