GC overhead limit exceeded : Spark_executor overhead limit exceeded

我在运行Spark程序的时候报错

java.lang.OutOfMemoryError：GC overhead limit exceeded
1

伴随着通常有:

java.lang.OutOfMemoryError：Java heap space

org.apache.spark.shuffle.FetchFailedException:Failed to connect to ...
1
2
3

这是因为executor的内存不足，导致GC杀死一些任务
登录 http://Master:8080会看到

可以看到在这个应用了，每个节点只用到了512MB，这是spark程序默认的，解决这个问题只要设置VM Options中的spark.executor.memory属性即可。
比如用的IDEA，在Run configuration里设置VM Options:

-Dspark.executor.memory
1