Hadoop安装spark教程_spark-3.4.2-bin-hadoop3.tgz

1.将下载后的安装包上传到文件夹下

2.解压：

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz

3.设置环境变量：

vim /etc/profile
 
 
//添加如下内容
 
export SPARK_HOME=/opt/spark/spark-3.0.0-bin-hadoop3.2
 
export PATH=$PATH:$SPARK_HOME/bin

使配置生效：

source /etc/profile

4.修改配置：

 
#进入/spark-3.0.0/conf复制以下几个文件
# cp spark-defaults.conf.template spark-defaults.conf
# cp slaves.template slaves
# cp spark-env.sh.template spark-env.sh
 
 
#修改spark-defaults.conf启用yarn模式
spark.master     yarn
 
 
#在sbin的目录下的spark-config.sh 文件下未添加JAVA_HOME的索引
#在该配置文件下添加 : export JAVA_HOME=/opt/java/jdk1.8.0_121

5.启动：

#进入/spark-3.0.0/sbin,启动spark
# ./start-all.sh

6.浏览器访问spark master默认地址：http://192.168.134.132:8080/

如果打不开网址：防火墙未关。

解决办法：

systemctl   stop   firewalld.service

打开效果图：

7.输入：jps

多了一个master和worker