赞
踩
Spark 常用的端口号包括:
Driver Web UI 端口:4040,这是 Spark 应用程序(Driver)运行时绑定的端口,用于展示任务运行状态、执行进度、任务细节等监控信息。
Spark Master 服务端口:7077,这是 Spark 在 Standalone 模式下的主节点(Master)与 Worker 节点通信的服务端口,客户端提交应用时也会连接此端口。
Spark Master Web UI 端口:默认为 8080,但这个端口可能会根据实际情况自动调整或手动配置,用户可以通过该端口查看集群的总体状态和各个应用程序的信息。
Spark Worker Web UI 端口:默认情况下,Worker 的 Web UI 端口可能不是固定的,通常会是 8081
或者在 808x
范围内,具体取决于启动时的配置或者系统分配的端口。
Spark History Server 端口:18080,历史服务器提供已完成作业的持久化存储和查询功能,用户可以在此端口下查看过去运行过的所有 Spark 应用的相关统计信息。
需要注意的是,这些端口号都可以在 Spark 配置文件中进行自定义设置以满足不同的环境需求。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。