sparkui 界面地址_Spark UI界面原理

当Spark程序在运行时，会提供一个Web页面查看Application运行状态信息。是否开启UI界面由参数spark.ui.enabled(默认为true)来确定。下面列出Spark UI一些相关配置参数，默认值，以及其作用。

参数

默认值

作用描述

spark.ui.enabled

true

是否开启UI界面

spark.ui.port

4040(顺序探查空闲端口)

UI界面的访问端口号

spark.ui.retainedJobs

1000

UI界面显示的Job个数

spark.ui.retailedStages

1000

UI界面上显示的Stage个数

spark.ui.timeline.tasks.maximum

1000

Stage页面显示的Tasks个数

spark.ui.killEnabled

true

是否运行页面上kill任务

spark.ui.threadDumpsEnabled

true

Executors页面是否可以展示线程运行状况

本文接下来分成两个部分，第一部分基于Spark-1.6.0的源码，结合第二部分的图片内容来描述UI界面在Spark中的实现方式。第二部分以实例展示Spark UI界面显示的内容。

一、Spark UI界面实现方式

1、UI组件结构

这部分先讲UI界面的实现方式，UI界面的实例在本文最后一部分。如果对这部分中的某些概念不清楚，那么最好先把第二部分了解一下。

从下面UI界面的实例可以看出，不同的内容以Tab的形式展现在界面上，对应每一个Tab在下方显示具体内容。基本上Spark UI界面也是按这个层次关系实现的。

以SparkUI类为容器，各个Tab，如JobsTab, StagesTab, ExecutorsTab等镶嵌在SparkUI上，对应各个Tab，有页面内容实现类JobPage, StagePage, ExecutorsPage等页面。这些类的继承和包含关系如下图所示：

2、初始化过程

从上面可以看出，SparkUI类型的对象是UI界面的根对象，它是在SparkContext类中构造出来的。

private var _ui: Option[SparkUI] = None //定义

_ui = //SparkUI对象的生成

if (conf.getBoolean("spark.ui.enabled", true)) {

Some(SparkUI.createLiveUI(this, _conf, listenerBus, _jobProgressListener,

_env.securityManager, appName, startTime = startTime))

} else {

// For tests, do not enable the UI

None

}

_ui.foreach(_.bind()) //启动jetty。bind方法继承自WebUI，该类负责和真实的Jetty Server API打交道

上面这段代码中可以看到SparkUI对象的生成过程，结合上面的类结构图，可以看到bind方法继承自WebUI类，进入WebUI类中，

protected val handlers = ArrayBuffer[ServletContextHandler]() // 这个对象在下面bind方法中会使用到。

protected val pageToHandlers = new HashMap[WebUIPage, ArrayBuffer[ServletContextHandler]] // 将page绑定到handlers上

/** 将Http Server绑定到这个Web页面 */

def bind() {

assert(!serverInfo.isDefined, "Attempted to bind %s more than once!".format(className))

try {

serverInfo = Some(startJettyServer("0.0.0.0", port, handlers, conf, name))

logInfo("Started %s at http://%s:%d".format(className, publicHostName, boundPort))

} catch {

case e: Exception =>

logError("Failed to bind %s".format(className), e)

Sys