详解 Spark 各种运行环境的搭建_spark的本地环境搭建

一、Local 环境

本地模式，即不需要其他任何节点资源就可以在本地执行 Spark 代码的环境；区别于 IDEA 开发时的 local 环境

1. 搭建

• Spark 下载地址：https://spark.apache.org/downloads.html

• 下载 spark-3.0.0-bin-hadoop3.2.tgz 安装包并上传到虚拟机上的 /opt/software 目录

• 将 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到 /opt/module 并修改名称

  tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
  cd /opt/module
  mv spark-3.0.0-bin-hadoop3.2.tgz spark-local
  1
  2
  3

• 进入 spark-local 目录执行 bin/spark-shell 检查是否搭建成功

  cd /opt/module/spark-local
  bin/spark-shell
  1
  2

• 查看 Web 监控页面：http://hadoop102:4040

2. 操作

• 命令行工具：

  bin/spark-shell
  
  # 进入 scala 命令工具
  sc.textFile("data/word.txt").flatMap(_.split(" "))
    .map((_,1)).reduceByKey(_+_).collect().foreach(println)
  1
  2
  3
  4
  5

• 提交应用：

  bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[2] \
  ./examples/jars/spark-examples_2.12-3.0.0.jar \
  10
  1
  2
  3
  4
  5

  • bin/spark-submit 表示提交命令
  • --class 表示要执行程序的主类
  • --master local[2] 表示部署模式，默认为本地模式，数字表示分配的虚拟 CPU 核数量
  • spark-examples_2.12-3.0.0.jar 表示运行的应用类所在的 jar 包
  • 10 表示程序的入口参数，用于设定当前应用的任务数量

二、Standalone 环境

独立部署模式，只使用 Spark 自身节点运行的集群模式，分为 master 和 workers

1. 集群规划

2. 搭建

• 下载 spark-3.0.0-bin-hadoop3.2.tgz 安装包并上传到虚拟机上的 /opt/software 目录

• 将 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到 /opt/module 并修改名称

  tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
  cd /opt/module
  mv spark-3.0.0-bin-hadoop3.2.tgz spark-standalone
  1
  2
  3

• 修改配置文件

  # 1.进入 spark-standalone 的 conf 目录，将 slaves.template 文件更名为 slaves
  cd /opt/module/spark-standalone/conf
  mv slaves.template slaves
  
  # 2.在 slaves 文件中添加 worker 节点
  hadoop102
  hadoop103
  hadoop104
  
  # 3.将 spark-env.sh.template 文件更名为 spark-env.sh
  mv spark-env.sh.template spark-env.sh
  
  # 4.在 spark-env.sh 文件中添加 JAVA_HOME 环境变量和集群对应的 master 节点
  export JAVA_HOME=/opt/module/jdk1.8.0_212
  SPARK_MASTER_HOST=hadoop102
  SPARK_MASTER_PORT=7077 #注意:7077 端口，相当于 hadoop3 内部通信的 8020 端口，此处的端口需要确认自己的 Hadoop 配置
  
  # 5.分发 spark-standalone 目录到其他集群节点
  xsync spark-standalone
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17
  18
  19

• 启动集群

  # 在 hadoop102 的 spark-standalone 目录
  cd /opt/module/spark-standalone
  sbin/start-all.sh
  
  # 查看进程
  jps
  1
  2
  3
  4
  5
  6

• 查看 Web 监控页面：http://hadoop102:8080

3. 测试

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://hadoop102:7077 \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10
1
2
3
4
5

4. 配置历史服务

• 修改并添加配置

  # 1.将 spark-defaults.conf.template 文件更名为 spark-defaults.conf
  cd /opt/module/spark-standalone/conf
  mv spark-defaults.conf.template spark-defaults.conf
  
  # 2.在 spark-default.conf 文件中配置日志存储路径
  spark.eventLog.enabled true
  spark.eventLog.dir hdfs://hadoop102:8020/directory # 注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在
  
  # 3.在 spark-env.sh 文件中添加日志配置
  export SPARK_HISTORY_OPTS="
  -Dspark.history.ui.port=18080 # WEB UI 访问的端口号为 18080
  -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory #历史服务器日志存储路径
  -Dspark.history.retainedApplications=30" 
  # 指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数
  
  # 4.分发配置文件(xsync 为自定义分发脚本，详见“Hadoop生产环境集群搭建”文章)
  xsync conf/
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17

• 启动 Hadoop 集群并创建日志存储目录

  cd /opt/module/hadoop-3.1.3
  sbin/start-dfs.sh
  hadoop fs -mkdir /directory
  1
  2
  3

• 启动 Spark 集群和历史服务

  cd /opt/module/spark-standalone
  sbin/start-all.sh
  sbin/start-history-server.sh
  1
  2
  3

• 提交应用执行

  bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://hadoop102:7077 \
  ./examples/jars/spark-examples_2.12-3.0.0.jar \
  10 
  1
  2
  3
  4
  5

• 查看历史服务：http://hadoop102:18080

5. 配置高可用

5.1 集群规划

5.2 搭建

• 修改 spark-env.sh 文件配置内容

  cd /opt/module/spark-standalone/conf
  vim spark-env.sh
  
  #1.注释如下内容：
  #SPARK_MASTER_HOST=hadoop102
  #SPARK_MASTER_PORT=7077
  
  #2.添加如下内容:
  #修改 Master 监控页面默认访问端口 8080 为 8989，避免和 Zookeeper 冲突
  SPARK_MASTER_WEBUI_PORT=8989
  
  #Zookeeper配置信息
  export SPARK_DAEMON_JAVA_OPTS="
  -Dspark.deploy.recoveryMode=ZOOKEEPER 
  -Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
  -Dspark.deploy.zookeeper.dir=/spark"
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16

• 分发配置：xsync conf/

• 启动 Zookeeper 集群

• 启动 Spark 集群；在 hadoop103 上启动 master 服务

  #hadoop102
  cd /opt/module/spark-standalone
  sbin/start-all.sh
  
  #hadoop103
  cd /opt/module/spark-standalone
  sbin/start-master.sh
  1
  2
  3
  4
  5
  6
  7

• 分别查看 hadoop102 和 hadoop103 的 Web 页面：https:://hadoop102:8989 和 https:://hadoop103:8989

• 提交应用执行

  bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://hadoop102:7077,hadoop103:7077 \
  ./examples/jars/spark-examples_2.12-3.0.0.jar \
  10
  1
  2
  3
  4
  5

• 模拟 master 下线，保证高可用

  #停止 hadoop102 的 master 进程
  jps
  kill -9 [pid]
  
  #分别访问 web 页面查看状态：https:://hadoop102:8989 和 https:://hadoop103:8989
  1
  2
  3
  4
  5

三、Yarn 模式

由于 Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，因此在生产上多集成 Yarn 使用

1. 搭建

• 下载 spark-3.0.0-bin-hadoop3.2.tgz 安装包并上传到虚拟机上的 /opt/software 目录

• 将 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到 /opt/module 并修改名称

  tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
  cd /opt/module
  mv spark-3.0.0-bin-hadoop3.2.tgz spark-yarn
  
  1
  2
  3
  4

• 修改 hadoop 安装目录下的 etc/hadoop/yarn-site.xml 配置文件并分发到集群其他节点

  <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认
  是 true -->
  <property>
      <name>yarn.nodemanager.pmem-check-enabled</name>
      <value>false</value>
  </property>
  <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认
  是 true -->
  <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
  </property>
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

• 修改 Spark 配置文件

  cd /opt/module/spark-yarn/conf
  
  #1.将 spark-env.sh.template 文件更名为 spark-env.sh
  mv spark-env.sh.template spark-env.sh
  vim spark-env.sh
  
  #2.在 spark-env.sh 文件中添加 JAVA_HOME 和 YARN_CONF_DIR 配置
  export JAVA_HOME=/opt/module/jdk1.8.0_212
  YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop
  1
  2
  3
  4
  5
  6
  7
  8
  9

• 启动 Hadoop 集群

2. 测试

• 以集群方式提交应用：不会打印结果

  bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \
  ./examples/jars/spark-examples_2.12-3.0.0.jar \
  10
  1
  2
  3
  4
  5
  6

• 以客户端方式提交应用：

  bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode client \
  ./examples/jars/spark-examples_2.12-3.0.0.jar \
  10
  1
  2
  3
  4
  5
  6

3. 配置历史服务

• 修改 Spark 配置

  cd /opt/module/spark-yarn/conf
  
  #1.将 spark-defaults.conf.template 文件更名为 spark-defaults.conf
  mv spark-defaults.conf.template spark-defaults.conf
  vim spark-defaults.conf
  
  #2.在 spark-defaults.conf 文件中配置日志存储路径和 yarn 历史服务器信息
  spark.eventLog.enabled true
  spark.eventLog.dir hdfs://hadoop102:8020/directory #注意：需要启动 hadoop 集群，HDFS 上的目录需要提前存在
  spark.yarn.historyServer.address=hadoop102:18080
  spark.history.ui.port=18080
  
  #3.在 spark-env.sh 文件中添加日志配置
  export SPARK_HISTORY_OPTS="
  -Dspark.history.ui.port=18080 
  -Dspark.history.fs.logDirectory=hdfs://hadoop02:8020/directory 
  -Dspark.history.retainedApplications=30"
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17

• 启动历史服务：sbin/start-history-server.sh

• 提交应用执行并查看历史服务：https://hadoop103:8088

四、其他模式简介

• K8S&Mesos 模式：https://spark.apache.org/docs/latest/running-on-kubernetes.html

  • Mesos 是 Apache 下的开源分布式资源管理框架
  • Kubernetes（k8s）是目前最为流行的容器管理工具

• Windows 模式：

  • 将 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中

  • 执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件，启动 Spark 本地环境

  • 编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令

    spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-3.0.0.jar 10
    1

六、各模式对比

七、常用端口号说明