Spark学习--1、Spark入门（Spark概述、Spark部署、Local模式、Standalone模式、Yarn模式）

1、Spark概述

1.1 什么是Spark

Spark是一个基于内存的快速、通用、可扩展的大数据分析计算引擎。

1.2 Hadoop和Spark历史

Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。

1.3 Hadoop和Spark框架对比

1.4 Spark内置模块

1.5 Spark特点

1、快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效地DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。
2、易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便的在这些Shell中使用Spark集群来验证解决问题的办法。
3、通用：Spark提供了统一的解决方案。Spark可以用于交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark Lib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用、减少了开发和维护的人力成本和部署平台的物力成本。
4、兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的Yarn好Apache Mesos作为它的资源管理和调度器，并且可以处理所以Hadoop支持的数据，包括HDFS、HBase等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark强大的处理能力。

2、Spark 运行模式

部署Spark集群大体上分为两种模式：单机模式与集群模式
（1）Local模式： 在本地部署单个Spark服务
（2）Standalone模式：Spark自带的任务调度模式。（国内常用）
（3）YARN模式： Spark使用Hadoop的YARN组件进行资源与任务调度。（国内最常用）
（4）Mesos模式： Spark使用Mesos平台进行资源与任务的调度。（国内很少用）

2.1 Spark安装地址

1）官网地址：http://spark.apache.org/
2）文档查看地址：https://spark.apache.org/docs/3.3.0/
3）下载地址：https://spark.apache.org/downloads.html https://archive.apache.org/dist/spark/

2.2 Local模式

Local模式就是运行在一台计算机上的模式，通常就是用于在本机上练手和测试。

2.2.1 安装使用

1、上传并解压Spark安装包
2、官方求PI案例

##先进入Spark软件的家目录
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

##	--class 表示要执行程序的主类
##  --master local[2] 
##  local:没有指定线程数，则所以计算都运行在一个线程中，没有任何并行计算
## 	local[K]:指定使用K个Core来运行计算
##  local[*]：默认模式。自动帮你按照CPU最多核来设置线程数
##	spark-examples_2.12-3.3.0.jar：要运行的程序；
##	10：要运行程序的输入参数（计算圆周率π的次数，计算次数越多，准确率越高）；
1
2
3
4
5
6
7
8
9
10
11
12
13
14

3、查看spark-submit所以参数

bin/spark-submit
1

4、结果展示

2.2.2 查看任务运行详情

再次运行求PI任务，增加任务次数

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.3.0.jar \
1000
1
2
3
4
5

在任务运行还没有完成时，可登录hadoop102:4040查看程序运行结果

2.3 Standalone模式

Standalone模式是Spark自带的资源调度引擎，构建一个由Master+Worker构成的Spark集群，Spark运行在集群中。这个standalone区别于Hadoop的，这里的Standalone是指只用Spark来搭建一个集群，不需要借助其他框架。

2.3.1 集群角色之资源管理

Master和Worker集群资源管理

Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式（Standalone）下正常运行必须要有的后台常驻进程。

Driver和Executor任务的管理者

Driver和Executor是临时程序，当有具体任务提交到Spark集群才会开启的程序。
Standalone是Spark自带的资源调度引擎，构建一个由Master+Worker构成的Spark集群，Spark运行在集群中。

2.3.2 安装使用

1、集群规划

2、再解压一份Spark安装包，并修改解压后的文件夹名称为spark-standalone
3、进入Spark的配置目录/opt/module/spark-standalone/conf
4、重命名conf/workers.template文件为conf/workers，并修改works文件内容，添加work节点

vim workers
添加内容如下：
hadoop102
hadoop103
hadoop104
1
2
3
4
5

5、修改重命名文件conf/spark-env.sh.template为conf/spark-env.sh文件，添加master节点

SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077
1
2

6、分发spark-standalone包
7、启动Spark集群

##进入spark-standalone的家目录
sbin/start-all.sh
1
2

8、查看三台服务器运行进程

9、网页查看：hadoop102:8080（master web的端口，相当于yarn的8088端口）
目前还看不到任何任务的执行信息。
10、官方求PI案例

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

##--master spark://hadoop102:7077指定要连接的集群的master（配置文件中所配置的信息一致）。
1
2
3
4
5
6
7

11、页面查看http://hadoop102:8080/
·8080：master的webUI
·4040：application的webUI的端口号

2.3.3 参数说明

我们当然也可以根据实际任务需求指定使用资源
1、配置Executor可用内存为2G，使用CPU核数为2个

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
1
2
3
4
5
6
7

2、页面查看http://hadoop102:8080/

3、基本语法

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]
##参数	解释
##--class	Spark程序中包含主函数的类
##--master	Spark程序运行的模式
##--executor-memory 1G	指定每个executor可用内存为1G
##--total-executor-cores 2	指定所有executor使用的cpu核数为2个
##application-jar	打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar
##application-arguments	传给main()方法的参数
1
2
3
4
5
6
7
8
9
10
11
12
13

2.3.4 配置历史服务

由于spark-shell停止掉后，hadoop102:4040页面就看不到历史任务的运行情况，所以我们需要历史服务器任务日志。
1、修改spark-default.conf.template名称

mv spark-defaults.conf.template spark-defaults.conf
1

2、修改spark-default.conf文件，配置日志存储路径（写）

spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory

## 注意：需要启动Hadoop集群，HDFS上的目录需要提前存在(因为历史任务日志数据存储在HDFS上)。
1
2
3
4

3、修改spark-env.sh文件，添加如下配置：

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
1
2
3
4
5
6
7

4、分发配置文件
5、启动历史服务

sbin/start-history-server.sh
1

6、再次执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
--executor-memory 1G \
--total-executor-cores 2 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
1
2
3
4
5
6
7

7、查看Spark历史服务地址：hadoop102:18080

2.3.5 配置高可用（HA）

1、高可用原理

2、配置高可用
（0）停止Spark集群
（1）Zookeeper正常安装并启动
（2）修改spark-env.sh文件添加如下配置

#注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

#添加如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"

#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989
1
2
3
4
5
6
7
8
9
10
11
12
13

（3）分发配置文件
（4）在hadoop102上启动全部节点
（5）在hadoop103上单独启动master节点
3、高可用测试
（1）查看hadoop102的master进程
（2）Kill掉hadoop102的master进程，页面中观察http://hadoop103:8080/的状态是否切换为alive。

（3）再启动hadoop102的master进程

2.3.5 运行流程

Spark有Standalone-Client和Standalone-Cluster两种模式，主要区别在于：Driver程序的运行节点。
1、客户端模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
1
2
3
4
5
6
7
8

–deploy-mode client，表示Driver程序运行在本地客户端，默认模式。

2、集群模式模式

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077,hadoop103:7077 \
--executor-memory 2G \
--total-executor-cores 2 \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
1
2
3
4
5
6
7
8

–deploy-mode cluster，表示Driver程序运行在集群。

2.4 Yarn模式

Spark客户端直接连接Yarn，不需要额外构建Spark集群

2.4.1 安装使用

（0）停止Standalone模式下的spark集群
（1）为了防止和Standalone模式冲突，再单独解压一份spark
（2）进入到/opt/module目录，修改spark-3.3.0-bin-hadoop3.2名称为spark-yarn
（3）修改hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml，添加如下内容（因为测试环境虚拟机内存较少，防止执行过程进行被意外杀死，做如下配置）

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>
<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>
1
2
3
4
5
6
7
8
9
10

4、分发配置文件
5、修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径

YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop 
1

6、启动HDFS以及YARN集群
7、执行一个程序

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10

#参数：--master yarn，表示Yarn方式运行；--deploy-mode表示客户端方式运行程序
1
2
3
4
5
6
7

8、查看hadoop103:8088页面，点击History，查看历史页面

2.4.2 配置历史服务

由于是重新解压的Spark压缩文件，所以需要针对Yarn模式，再次配置一下历史服务器。
1、修改spark-default.conf.template名称

mv spark-defaults.conf.template spark-defaults.conf
1

2、修改spark-default.conf文件，配置日志存储路径（写）

spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory
1
2

3、修改spark-env.sh文件，添加如下配置

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

# 参数1含义：WEBUI访问的端口号为18080
# 参数2含义：指定历史服务器日志存储路径（读）
# 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
1
2
3
4
5
6
7
8

2.4.3 配置查看历史日志

为了能从Yarn上关联到Spark历史服务器，需要配置spark历史服务器关联路径。
目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。
1、修改配置文件/opt/module/spark-yarn/conf/spark-defaults.conf

#添加如下内容：
spark.yarn.historyServer.address=hadoop102:18080
spark.history.ui.port=18080
1
2
3

2、重启Spark历史服务
3、提交任务到Yarn执行

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
1
2
3
4
5

4、Web页面查看日志：http://hadoop103:8088/cluster
点击“history”跳转到http://hadoop102:18080/

2.4.4 运行流程

Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。
yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster，适用于生产环境。

1、客户端模式（默认）
（1）执行任务

	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master yarn \
	--deploy-mode client \
	./examples/jars/spark-examples_2.12-3.3.0.jar \
	10
1
2
3
4
5
6

（2）任务执行结果输出在本地控制台中

（3）yarn查看任务


YarnClient运行模式介绍

2、集群模式
（1）执行任务

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
1
2
3
4
5
6

（2）本地看不见结果输出

（3）看http://hadoop103:8088/cluster页面，点击History按钮，跳转到历史详情页面

（4）查看结果输出：http//8080点击Executors->点击driver中的stdout

2.5 Mesos模式

Spark客户端直接连接Mesos；不需要额外构建Spark集群。国内应用比较少，更多的是运用Yarn调度。

2.6 几种模式对比

2.7 端口号总结

1、Spark查看当前Spark-shell运行任务情况端口号：4040
2、Spark Master内部通信服务端口号：7070
3、Spark Standalone模式Master Web端口号：8080
4、Spark历史服务器端口号：18080