spark on yarn配置安装_spark on yarn安装配置

下载

下载链接

解压与安装

1. 将下载好的压缩包传入虚拟机的安装路径，本文章为/soft目录

2. 解压与重命名文件夹

cd /soft
#解压压缩包
tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz
#重命名
mv spark-2.4.5-bin-hadoop2.7 spark

3. 进入spark/conf配置目录新建spark-env.sh文件(vim spark-env.sh)并加入以下内容

# 设置JAVA和SCALA安装目录
JAVA_HOME=/soft/jdk1.8.0
SCALA_HOME=/soft/scala-2.11.12
# HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群
HADOOP_CONF_DIR=/soft/hadoop-2.7.7/etc/hadoop

4. 配置环境变量，在/etc/profile文件中添加以下内容并重新加载配置文件(source /etc/profile)

#spark
export SPARK_HOME=/soft/spark
export PATH=SPARK_HOME/bin:SPARK_HOME/sbin:$PATH

测试

• 进入spark安装目录输入以下内容成功返回pi的值则配置成功

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.11-2.4.5.jar \
10