Scala和Spark安装步骤

一、spark和scala官网下载安装包

scala:All Available Versions | The Scala Programming Language

spark:Apache Download Mirrors

二、Scala和Spark安装步骤

1.传输包到shell的/opt目录下

在虚拟机中用 ifconfig命令查看ip地址

2. scala的安装与配置

ls命令查看包是否存在                                                                                                                       解压到指定目录

tar -zxvf /opt/scala-2.12.12.tgz -C /opt/

配置环境变量

#SCALA
 
export SCALA_HOME=/opt/scala-2.12.12
 
export PATH=$PATH:${SCALA_HOME}/bin

source /etc/profile使环境变量生效，scala -version查看是否安装成功

source /etc/profile

scala -version

3.Spark安装步骤

解压安装spark安装包

tar -zxvf /opt/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/

配置环境变量  vim /etc/profile

#SPARK 
export SPARK_HOME=/opt/spark
export PATH=$PATH:${SPARK_HOME}/bin
export PATH=$PATH:${SPARK_HOME}/sbin

使环境生效

source /etc/profile

修改配置文件             在spark下的conf目录打开env   vim spark-env.sh

export SCALA_HOME=/opt/scala-2.12.12
 
export JAVA_HOME=/opt/module/java
 
export SPARK_MASTER_IP=master
 
export SPARK_WOKER_CORES=2
 
export SPARK_WOKER_MEMORY=2g
 
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop
 
#export SPARK_MASTER_WEBUI_PORT=8080
 
#export SPARK_MASTER_PORT=7070

启动集群

./start-all.sh

jps查看有master就是对的

查看spark是否安装成功

spark-submit --version

查看各节点

Master

Slave1

Slave2

Spark-shell