搭建Spark开发环境_spark开发环境搭建

一、Spark开发环境准备工作

• 由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的HDFS、HBase等组件负责数据的存储管理，Spark负责数据计算。

• 安装Spark集群前，需要安装Hadoop环境

   

二、了解Spark的部署模式

（一）Standalone模式

• Standalone模式被称为集群单机模式。该模式下，Spark集群架构为主从模式，即一台Master节点与多台Slave节点，Slave节点启动的进程名称为Worker，存在单点故障的问题。

（二）Mesos模式

• Mesos模式被称为Spark on Mesos模式。Mesos是一款资源调度管理系统，为Spark提供服务，由于Spark与Mesos存在密切的关系，因此在设计Spark框架时充分考虑到对Mesos的集成。

（三）Yarn模式

• Yarn模式被称为Spark on Yarn模式，即把Spark作为一个客户端，将作业提交给Yarn服务。由于在生产环境中，很多时候都要与Hadoop使用同一个集群，因此采用Yarn来管理资源调度，可以提高资源利用率。

 

三、搭建Spark单机版环境

（一）前提是安装配置好了JDK

查看JDK版本

 

（二）下载、安装与配置Spark

1、下载Spark安装包

官网下载页面：Downloads | Apache Spark https://spark.apache.org/downloads.html

 下载链接：Apache DownloadsHome page of The Apache Software Foundationhttps://www.apache.org/dyn/closer.lua/spark/spark-3.3.2/spark-3.3.2-bin-hadoop3.tgz

 

2、将Spark安装包上传到虚拟机

• 将Spark安装包上传到ied虚拟机/opt目录

 

3、将Spark安装包解压到指定目录

• 执行命令：tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /usr/local

• 查看解压之后的spark目录

 

 

4、配置Spark环境变量

• 执行vim /etc/profile

export SPARK_HOME=/usr/local/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

 存盘退出，执行命令：source /etc/profile，让环境配置生效

（三）使用Spark单机版环境

1、使用Scala版本Spark-Shell

• Spark-Shell是一个强大的交互式数据分析工具，初学者可以很好的使用它来学习相关API，用户可以在命令行下使用Scala编写Spark程序，并且每当输入一条语句，Spark-Shell就会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），Spark-Shell支持Scala和Python
• 命令格式：spark-shell --master <master-url>
• --master表示指定当前连接的Master节点
• <master-url>用于指定Spark的运行模式

 执行spark-shell命令，相当于执行spark-shell --master local[*]命令，启动Scala版的Spark-Shell访问Spark的Web UI界面 - http://ied:4040

 计算1 + 2 + 3 + …… + 100

 输出字符直角三角形

 打印九九表

 执行:quit命令，退出Spark Shell交互式环境

3、使用Python版本Spark-Shell

• 执行pyspark命令启动Python版的Spark-Shell
• 执行命令：yum -y install python3、
• 执行命令：pyspark
• 输出一条信息，进行加法运算，然后退出交互式环境

（二）Spark集群拓扑

1、前提条件：安装配置了分布式Hadoop环境

启动hadoop集群

 访问Hadoop WebUI界面

 

（二）在master虚拟机上安装配置Spark

1、将spark安装包上传到master虚拟机

进入/opt目录，查看上传的spark安装包

2、将spark安装包解压到指定目录

执行命令：tar -zxvf spark-3.3.2-bin-hadoop3.tgz -C /usr/local

3、配置spark环境变量

• 执行命令：vim /etc/profile

 

 

export SPARK_HOME=/usr/local/spark-3.3.2-bin-hadoop3
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

存盘退出后，执行命令：source /etc/profile，让配置生效

查看spark安装目录（bin、sbin和conf三个目录很重要

 

4、编辑spark环境配置文件

• 进入spark配置目录后，执行命令：cp spark-env.sh.template spark-env.sh与vim spark-env.sh

 添加三行语句

 

export JAVA_HOME=/usr/local/jdk1.8.0_231
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077

存盘退出，执行命令：source spark-env.sh，让配置生效

 

5、创建slaves文件，添加从节点

• 执行命令：vim slaves，添加两个从节点主机名

五）在slave1虚拟机上安装配置Spark

1、把master虚拟机上安装的spark分发给slave1虚拟机

• 执行命令：scp -r $SPARK_HOME root@slave1:$SPARK_HOME

 

2、将master虚拟机上环境变量配置文件分发到slave1虚拟机

• 在master虚拟机上，执行命令：scp /etc/profile root@slave1:/etc/profile

 

 在slave1虚拟机上，执行命令：source /etc/profile，让环境配置生效

 

3、在slave1虚拟机上让spark环境配置文件生效

• 在slave1虚拟机上，进入spark配置目录，执行命令：source spark-env.sh

（六）在slave2虚拟机上安装配置Spark

1、把master虚拟机上安装的spark分发给slave2虚拟机

• 执行命令：scp -r $SPARK_HOME root@slave2:$SPARK_HOME

 

2、将master虚拟机上环境变量配置文件分发到slave2虚拟机

• 在master虚拟机上，执行命令：scp /etc/profile root@slave2:/etc/profile

   

• 在slave2虚拟机上，执行命令：source /etc/profile，让环境配置生效

   

3、在slave2虚拟机上让spark环境配置文件生效

• 在slave2虚拟机上，进入spark配置目录，执行命令：source spark-env.sh

 

（七）启动Spark Standalone集群

Spark Standalone集群使用Spark自带的资源调度框架，但一般我们把数据保存在HDFS上，用HDFS做数据持久化，所以Hadoop还是需要配置，但是可以只配置HDFS相关的，而Hadoop YARN不需要配置。启动Spark Standalone集群，不需要启动YARN服务，因为Spark会使用自带的资源调度框架。
 

 

1、启动hadoop的dfs服务

• 在master虚拟机上执行命令：start-dfs.sh

 

2、启动Spark集群 

• 执行命令：start-all.sh

   

• 查看start-all.sh的源码启动Master与Worker的命令

  # Start Master
  "${SPARK_HOME}/sbin"/start-master.sh
  # Start Worker
  s"${SPARK_HOME}/sbin"/start-slaves.sh
  

• 可以看到，当执行start-all.sh命令时，会分别执行start-master.sh命令启动Master，执行start-slaves.sh命令启动Worker。

• 注意，若spark-evn.sh中配置了SPARK_MASTER_HOST属性，则必须在该属性指定的主机上启动Spark集群，否则会启动不成功；若没有配置SPARK_MASTER_HOST属性，则可以在任意节点上启动Spark集群，当前执行启动命令的节点即为Master节点

• 启动完毕后，分别在各节点执行jps命令，查看启动的进程。若在master节点存在Master进程，slave1节点存在Worker进程，slave2节点存在Worker进程，则说明集群启动成功

• 查看master节点进程

• 查看slave1节点进程                                                                                                                      

• 查看slave2节点进程                                                                                                        

（八）访问Spark的WebUI

• 在浏览器里访问http://master:8080

•  在浏览器访问http://slave1:8081

   

• 在浏览器访问http://slave2:8081

（九）启动Scala版Spark Shell

• 执行命令：spark-shell --master spark://master:7077 （注意--master，两个-不能少）

   

• 在/opt目录里执行命令：vim test.txt

   

• 在HDFS上创建park目录，将test.txt上传到HDFS的/park目录 

   

• 读取HDFS上的文件，创建RDD，执行命令：val rdd = sc.textFile("hdfs://master:9000/park/test.txt")（说明：val rdd = sc.textFile("/park/test.txt")读取的依然是HDFS上的文件，绝对不是本地文件）

   

• 收集rdd的数据，执行命令：rdd.collect

   

• 进行词频统计，按单词个数降序排列，执行命令：val wordcount = rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).sortBy(_._2, false)与`wordcount.collect.foreach(println)