spark on yarn 配置_spark on yarn如何配置

解压安装

1.1解压Scala

tar -zxvf scala-2.11.8.tgz -C /usr/project/

1.2解压Spark

tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/project/

1.3配置环境变量

vi /etc/profile

注意：在写环境变量前已经将Scala和Spark的名字重命名（因为名字太长太复杂 [/狗头]）

#scala
export SCALA_HOME=/usr/project/scala
export PATH=$PATH:$SCALA_HOME/bin
#spark
export SPARK_HOME=/usr/project/spark
export PATH=$PATH:$SPARK_HOME/bin
1
2
3
4
5
6

重新加载环境变量

注意：下面两个命令意思相同可自行选择
. /etc/profile
source /etc/profile

1.4配置Spark

1.4.1重命名

进入conf下

/usr/project/spark/conf

mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
1
2

1.4.2配置spark-env.sh

在最底部添加！

export HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
export YARN_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
1
2

1.4.3向yarn-site.xml添加配置

cd 进入:/usr/project/hadoop-2.7.7/etc/hadoop
vi yarn-site.xml
注意*是内部添加

<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>4</value>
</property>

1
2
3
4
5
6
7
8
9
10
11
12
13

上方添加配置内容介绍

1.5启动Hadoop

start-all.sh
或者
start-dfs.sh、start-yarn.sh

使用spark运行在yarn上

spark-shell --master yarn --deploy-mode client

1.5.1查看yarn web

ip:8088

成功！！！！