Spark环境搭建（on yarn）_spark on yarn集群安装与部署

作者：Monodyee | 2024-05-07 20:31:49

踩

spark on yarn集群安装与部署

1)第一步：首先保证有一个Hadoop集群，然后部署一个spark客户端节点

注意：Spark的客户端节点同时也需要是Hadoop的客户端节点，因为Spark需要依赖于Hadoop

2）解压spark安装包，配置环境

重命名spark-env.sh.template 为 spark-env.sh

修改内容：指定JAVA_HOME和Hadoop的配置文件目录


export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_CONF_DIR=/data/soft/hadoop-3.2.0/etc/hadoop

3）测试是否成功

提交个spark任务：

 bin/spark-submit  --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster   examples/jars/spark-examples_2.11-2.4.3.jar  2

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/551128