Spark（二十九）Spark属性配置_set("spark. user

静态配置Spark属性

静态配置属性指的就是我们可以在代码中利用SparkCof中的set()方法来设置Spark的属性，set()方法接受接受的键值对SparkConf.set(key,value)。具体的键值对是什么，下文会有介绍。

 def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local").setAppName("RDDTest")
    sparkConf.set("spark.executor.memory","10g")
    val sc = new SparkContext(sparkConf)
  }
1
2
3
4
5

动态配置Spark属性

所谓的动态配置Spark属性，其实就是我们在Driver端运行spark-submit的时候指定具体的Spark参数属性。

Spark属性

Spark属性我们可以分为应用程序属性、运行环境属性、Shuffle行为属性、Spark UI属性、压缩合序列化属性、内存管理属性、执行行为属性、网络属性、调度属性、动态分配属性、安全策略属性、SparkSQL配置。SparkStreaming配置

应用程序属性

应用属性是Spark应用程序中必要的参数属性，这些属性大多数都具有合理的默认值。具体应用属性如下表所示。

运行环境配置参数