提交spark任务到yarn集群上_spark-submit yarn集群地址

先Maven打包自己编写的程序.

放到Linux指定目录下

放到
/root/module/spark_job/realtime-parent.jar

编写Spark-submit 提交脚本

要注意空格啥的 和路径别写错了

sh脚本文件:

 $SPARK_HOME/bin/spark-submit \
--class com.ods.BaseDBMaxwellApp \
--num-executors 80 \
--driver-memory 6g \
--executor-memory 6g \
--executor-cores 3 \
--master yarn \
--deploy-mode cluster \
--queue default \
--conf spark.executor.memoryOverhead=2048 \
--conf spark.core.connection.ack.wait.timeout=300 \
/root/module/spark_job/realtime-parent.jar
1
2
3
4
5
6
7
8
9
10
11
12

class 就是你程序的权限定类名

打开yarn查看发布的job程序

http://zjj102:8088/cluster

这个地址是ResourcesManager所在的机器的ip