spark 自定义外部配置参数的三种方式

前言
1、2 方式只能修改spark内置参数，外部自定义参数不支持此方式
如果传递，将提示

Warning: Ignoring non-spark config property: count.end.time=1564122000000
1

3方式可以用来传递自定义参数，通过args[]去获取

1、通过脚本 --conf 方式来提交

多个配置参会传递多个 --config

./bin/spark-submit  --class  com.xx.TestApp
  --master yarn 
  --deploy-mode cluster
   --driver-memory 1g 
   --num-executors 2 
   --executor-memory 512M 
   --executor-cores 2 
   //配置信息
   --conf spark.mongodb.input.uri=mongodb://192.168.1.2:27017/onemap-statis
    --conf spark.mongodb.output.collection=test_collection
     test-0.0.1-SNAPSHOT.jar
1
2
3
4
5
6
7
8
9
10
11

2、通过配置文件的方式–properties-file，如果不配置默认读取当前提交节点的 conf/spark-defaults.conf

./bin/spark-submit  
--class  com.xx.TestAppp 
 --master yarn 
 --deploy-mode cluster
  --driver-memory 1g 
  --num-executors 2 
  --executor-memory 512M
   --executor-cores 2 
      //配置信息
   --properties-file  extend.conf 
   test-0.0.1-SNAPSHOT.jar
1
2
3
4
5
6
7
8
9
10
11

3、通过main函数传递

arg0 arg1 arg3可以传递自定义参数，主函数里面获取

./bin/spark-submit 
 --class  com.xx.TestAppp
   --master yarn 
   --deploy-mode cluster
    --driver-memory 1g 
    --num-executors 2
     --executor-memory 512M
      --executor-cores 2 
       test-0.0.1-SNAPSHOT.jar arg0 arg1 arg3    //配置信息

1
2
3
4
5
6
7
8
9
10