spark streaming程序启动配置参数_spark streaming参数配置

spark streaming启动参数
spark-submit
运行方式
–master yarn-cluster
指定driver端得到核数
–driver-cores 4
指定driver端的内存
–driver-memory 2G
指定excutor的个数
–num-executors 10
指定每个executor的个数
–executor-cores 2
指定每个executor的内存
–executor-memory 4G
指定堆外内存
–conf spark.yarn.executor.memoryOverhead=4096
指定是否自动释放内存
–conf spark.streaming.unpersist=true
指定GC
–conf spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC
指定冷启动最大拉取量，每个分区每秒
–conf spark.streaming.kafka.maxRatePerPartition=3000
指定用到的jar包
–jars /opt/Bigdata/AdxTestLib/weidaihong/kafka-clients-0.10.0.1.jar,/opt/Bigdata /AdxTestLib/weidaihong/spark-streaming-kafka-0-10_2.11-2.2.0.jar,/opt/Bigdata/AdxTestLib/weidaihong/fastjson-1.2.47.jar,/opt/Bigdata/AdxTestLib/weidaihong/config-1.3.3.jar,/opt/Bigdata/AdxTestLib/weidaihong/commons-dbutils-1.7.jar,/opt/Bigdata/AdxTestLib/weidaihong/c3p0-0.9.1.2.jar
指定运行程序的类名以及jar包
–class streaming.app.Dwd2DwsMonitor /opt/Bigdata/AdxTestLib/weidaihong/Delivery.jar
需要传入的参数
“adxDwdRateStockingLog” “adxDwsRateStockingLog” “false”