伪分布式安装+spark+Scala

伪分布式安装参考：Hadoop伪分布式安装-CSDN博客

安装Spark

spark 安装上传到/opt目录，解压安装包到/usr/local目录下

[root@cxy opt]# tar -zxf spark-3.2.1-bin-hadoop2.7.tgz -C /usr/local/

复制和重命名后得到的spark-env.sh

[root@cxy opt]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/conf/
[root@cxy conf]# cp spark-env.sh.template spark-env.sh

打开spark-env.sh文件，在文件末尾添加代码

export JAVA_HOME=/opt/jdk     JAVA 的安装路径
export HADOOP_HOME=/opt/hadoop  Hadoop 的安装路径
export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop Hadoop  配置文件的路径
export SPARK_MASTER_IP=192.168.130.10      Spark主节点的IP 地址或主机名
export SPARK_LOCAL_IP=192.168.130.10           Spark本地的IP 地址或主机名

切换到Spark安装目录的/sbin目录下，启动Spark集群

[root@cxy conf]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/sbin/
[root@cxy sbin]# ./start-all.sh 

通过命令jps查看进程，如果有Master进程又有Worker进程 ，那么说明集群启动成功

启动spark-shell

[root@cxy sbin]# cd /usr/local/spark-3.2.1-bin-hadoop2.7/
[root@cxy spark-3.2.1-bin-hadoop2.7]# ./bin/spark-shell

Spark-shell 启动成功后，访问http://192.168.130.10:8080,可在Spark监控界面看到对应的Spark应用程序的相关信息

安装Scala

将Scala安装包上传到/opt目录

解压安装包至/usr/local目录下

[root@cxy opt]# tar -zxf scala-2.11.8.tgz -C /usr/local/

使用命令vi /etc/profile 打开配置文件/etc/profile ,在source /etc/profile 重新加载/etc/profile配置文件

export SCALA_HOME=/usr/local/scala-2.11.8 
export PATH=$PATH:$SCALA_HOME/bin

[root@cxy opt]# source /etc/profile

运行Scala