当前位置: article > 正文

虚拟机 scala 和spark 安装_解压虚拟机中的spark压缩包

作者：Guff_9hys | 2024-07-02 04:38:35

踩

解压虚拟机中的spark压缩包

文章目录

一、scala 安装
二、spark安装

一、scala 安装

1.下载，解压scala安装包

安装包自行去官网下载
tar -zxvf scala-2.11.12.tgz

2.配置环境变量

在这里插入图片描述
export SCALA_HOME=/opt/software/scala2.11
export PATH= $P A T H :$ SCALA_HOME/bin

3.启动scala

scala
在这里插入图片描述

二、spark安装

1、下载，解压spark安装包

spark安装包自行下载
tar -axvf spark-2.4.7-bin-hadoop2.6.tgz

2.修改配置文件

修改文件名

在这里插入图片描述

修改spark-env,sh

在这里插入图片描述
export JAVA_HOME=/root/software/jdk1.8.0_221
export SCALA_HOME=/opt/software/scala2.11
export SPARK_HOME=/opt/software/spark247
export HADOOP_HOME=/root/software/hadoop
export HADOOP_CONF_DIR=/root/software/hadoop/etc/hadoop
export SPARK_MASTER_IP=hadoop100
export SPARK_EXECUTOR_MEMORY=1G

3.配置环境变量

在这里插入图片描述
export SPARK_HOME=/opt/software/spark247
export SPARK_CONF_DIR= $SPARK_HOME/conf export PATH=$ PATH:$SPARK_HOME/bin

4.启动spark

spark-shell

在这里插入图片描述
如果是集群，修改 salves 类似hadoop完全分布的slaves，workers
加入集群的ip
还有spark-env.sh 的master_ip都写主节点，每台节点都要安装scala等

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Guff_9hys/article/detail/778617