spark submit——yarn模式参数调优_spark-submit --master yarn

spark官网上的参数默认值设置：https://spark.apache.org/docs/latest/configuration.html#spark-streaming

此处记录一下最近整理的spark 集群模式提交yarn的部分常用参数设置 （友情提示：以下代码块中注释部分未加注释标# ）

spark-submit --master yarn-cluster \                   yarn模式
        --name ${APP_NAME} \                              appName
        --executor-memory 3G \                              每个executor分配的内存 此处可参考上篇 executor内存分配图解
        --executor-cores 3 \                 每个executor分配的核数   核数*executor数 = task被执行的并发度=输入分片数=输入rdd分区数 但应限制在queue总分配核数以内                   
        --num-executors 12  \             集群中启动的executor总数
        --driver-memory 2G \                driver运行内存 默认值为1G
        --driver-cores  1 \                driver核数 可以不用改

        --conf spark.yarn.executor.memoryOverhead=2048 \          executor堆外内存，值为 executorMemory * 0.1, 最小384    spark shuffle的底层传输方式是使用netty传输 netty在进行网络传输的过程中会申请堆外内存 


        --conf spark.yarn.driver.memoryOverhead=
1
2
3
4
5
6
7
8
9
10
11