Spark相关配置参数_spark资源配置，最新大数据开发开发面试解答_spark内存 配置

其中，若参数未手动设置，会分配默认值。

也就是说，使用默认参数，每个executor就会分配4g + max(5g, 3.7g) + 6g = 15g的内存，对于一般任务已经足够使用。

-- driver
spark.driver.cores 1
spark.driver.memory 4g
-- executor
spark.executor.cores 2
spark.executor.memory 4g
spark.executor.memoryOverhead 5g
spark.executor.pyspark.memory 6g
-- Bytes，约为3.7G
spark.memory.offHeap.size 4000000000 
1
2
3
4
5
6
7
8
9
10

二、用户需要关注的参数

如上，在使用默认配置时，每个executor就会分配15g内存，已经足够一般任务使用。

所以用户一般只需配置spark.executor.instances，spark.sql.shuffle.partitions，spark.default.parallelism即可。

如果配置后发现还是报OOM错误，可适当提高内存参数，重要参数含义见下方。

推荐配置：

spark.executor.instances 50
spark.sql.shuffle.partitions 300
spark.default.parallelism 300
1
2
3

三、重要参数含义

1、driver相关参数

driver实际申请内存大小计算公式&#x