Spark的安装与配置_spark安装与配置

---

前言

`简单介绍spark3.x版本的安装与配置
我的三台机器分别为q01,slave02,slave03

---

`

一、安装spark

1.将安装包上传到、usr/software下

2.将spark解压到/usr/local下

[root@q01 software]# tar -zvxf spark-3.1.2-bin-hadoop3.2.tgz -C /usr/local
1

3.重命名

[root@q01 local]# mv  spark-3.1.2-bin-hadoop3.2/ spark-3.1.2

1
2

二、配置spark

1.配置env

进入spark-3.1.2/conf下
将spark-env.sh.template 改名

[root@q01 conf]# mv spark-env.sh.template spark-env.sh
1

vim 进入spark-env.sh,加入jdk安装路径

export JAVA_HOME=/usr/local/jdk1.8.0_202
1

保存退出

2.配置workers

改名

[root@q01 conf]# mv workers.template workers
1

vim 进入
在末尾插入从节点的名字
根据你集群的实际情况配置

三.环境变量

配置环境变量

vim  /etc/profile
1

在最后面加入

export SPARK_HOME=/usr/local/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin
1
2

保存退出
source一下

source /etc/profile
1

四.拷贝

进入/usr/local
将配置好的spark拷贝到另外两台机器
注意节点名称和你所处的位置

[root@q01 local]# scp -r spark-3.1.2/ slave02:$PWD
1

[root@q01 local]# scp -r spark-3.1.2/ slave03:$PWD
1

五.启动集群

先启动hadoop集群：进入hadoop目录下

./sbin/start-all.sh
1

然后启动spark：进入spark目录下

./sbin/start-all.sh
1

最后jps一下，三台机器上的状况依次如下：主机，slave02，slave03



如果有不足之处，请留下您宝贵的意见