Spark数据倾斜和调优_sparksql数据倾斜调优

一、哪些情况会产生数据倾斜以及解决方案
在分布式计算中，数据倾斜是指数据在分布式节点中的不平衡分布，导致某些节点的负载过重，从而影响整个任务的运行效率和性能。对于Spark来说，数据倾斜是一个常见的问题，可能会导致任务运行时间过长、资源浪费、节点宕机等问题。
1、shuffle的时候，如果这个时候shuffle的字段为空，会出现数据倾斜。
解决方案：将空字段进行过滤
2、key有很多，分区设置过少，导致很多key聚集在一个分区出现的数据倾斜
解决方案：局部聚合 + 全局聚合
局部聚合–> 将分组字段的值加上一个随机数[加盐]
3、当某一个表中某一个key数据特别多，然后使用group by就会出现数据倾斜
解决方案：将小表广播出去，有原来的reduce join 变成 map join ，避免shuffle操作，从而解决数据倾斜
4、大表 join 小表 ，这两个表中有某一个key或者几个key数据比较多，会出现数据倾斜
5、大表 join 大表 ，其中某一个表分布比较均匀，另个一表存在某一个或者某几个key数据特别多也会出现数据倾斜
解决方案：将容易产生数据倾斜的key过滤出来，单独处理[加盐]扩容；没有数据倾斜的key的数据照常处理（如果导致倾斜key特别多的话，比如成千上万个key都导致数据倾斜，这种方法就不适用了，需要结合其它方法一起解决）
6、大表 join 大表 ，其中某一个表分布比较均匀，另一个表存在很多key数据特别多，也会出现数据倾斜
解决方案：直接将产生数据倾斜的表进行加盐[0-9],对另一个表进行扩容[最多扩容10倍]
二、缺失值处理
缺失值处理有两种方式，丢弃和填充
1、什么是缺失值，列的值为NaN、null、" “、”,“、“Null” 等等
2、缺失值处理的框架：df.na
3、缺失值处理
删除：API df.na.drop()
删除策略 any 只要一行中有一列值为NaN就删除该行 ；all 一行中所有的列值全部为NaN才删除；针对指定列删除 df.na,drop(“any”,List(“列名1”,“列名2”))，一行的列名1和列名2这两列有一列数据为NaN，就删除改行
填充 API df.na.fill(”")
替换 API df.na.repelace(“列名”,Map(“列值”,“替换值”))
三、调优
1、增加资源（shell提交任务时候资源调整)
executor-memory 每个executor内存大小
executor-cores 每个executor使用的CPU核数
num-executor 启动的executor的数量

/usr/local/spark-current/bin/spark-submit \
--master yarn \
--deploy-mode client \
--executor-memory 2G \
--driver-memory 1G \
--queue root.default \
--class my.Application \
--conf spark.ui.port=4052 \
--conf spark.port.maxRetries=100 \
--num-executors 2 \
--jars test1-spark-connector_2.11-2.3.1.jar \
--conf spark.memory.fraction=0.6 \
1
2
3
4
5
6
7
8
9
10
11
12

2、增加并行度
spark core spark.default.parallelism
sparksql spark.sql.shuffle.partitions
3、广播变量
spark core spark.sparkcontext.broadcast
spark sql spark.sql.autoBroadcastJoinThreshold 要广播出去的小表限制
4、RDD的重用
缓存persist或Cache
5、调整内存占比
spark.memory.fraction
spark.memory.storageFraction
spark.shuffle.io.maxRetries
spark.shuffle.io.retryWait

6、推测机制
spark.speculation
spark.speculation.multiplier

7、补充 Spark GC
内存分为两块（青年代和老年代）
青年代中又分为三块（Eden、survivor0、survivor1）
Eden中存放的是初始化对象，随着时间推移，这一块区域满了以后会进行minor GC，不用的清楚掉，然后使用的放到survivor0 中
Eden中清空以后又可以存放对象了，然后再次存满以后再次GC，直到survivor0中也满了，GC会 把Eden和survive0中使用的对象放在survive1中，不用的清除
重复这个步骤
Survive1中也存储满了以后，会把使用的对象放在老年代中，不使用的清除掉
当老年代中也存满了以后，这个时候就会进行full GC ，这个时候时间短几分钟，长的话十几分钟， 在这个过程中会暂停一切操作，优先GC，这个时候可能会出现拉取shuffle数据失败