Flink任务OOM问题_flink oom

当我们要读取大表时，例如hive表，很容易出现task内存不够用的情况，当这种情况出现时，任务可能会报出GC异常或者TaskManager心跳异常等，如下：

1、java.lang.OutOfMemoryError: GC overhead limit exceeded

2、java.util.concurrent.TimeoutException: Heartbeat of TaskManager with id 【containerID】 timed out.

这时我们可以观察TaskManager的内存使用情况，进而为其分配合适的内存或者槽数，

如图我们可以看到其中一个槽的task消耗了1.28G，所以我们的taskManager总的内存一定要比1.28G大一些 ，所以我们可以通过设置下面一些参数来优化内存分配：

-Djobmanager.memory.process.size=2048mb
-Dtaskmanager.memory.process.size=4096mb
-Dtaskmanager.numberOfTaskSlots=2

在这里jobmanager的内存我们给了2G，这就很充足了，主要是taskmanager，我们给了4G，槽数我们给了两个，平均每个槽也就分到不到2G的内存，这样就满足了我们任务的资源需求，不同的任务需要不同的优化方式，所以一定要掌握Flink内存模型，这样才能对资源进行优化