我出题，你来算。根据Flink TaskManager内存模型，各部分内存分配？

作者：知新_RL | 2024-06-10 00:08:04

踩

flink数据在taskmanager哪部分内存里

点击上方蓝色字体，选择“设为星标”

回复"面试"获取更多惊喜

大数据面试提升私教训练营

Hi，我是王知无，一个大数据领域的原创作者。

放心关注我，获取更多行业的一手消息。

先上一张官方给出的Flink(1.10版本以后)内存模型图示：

然后再贴一张现在正在运行的flink任务与TaskManager内存有关的参数信息：

现在开始看图说话：

从启动参数配置上，我们可以看到最大堆内存和初始堆内存都在1.5GB，DirectMemory的大小约为471M，Flink的Task就运行在一个TaskManager的JVM进程中，接下来分析该进程的内部结构。

Total Process Memory

TaskManage的内存分为5大部分：堆内存，堆外内存，直接内存，MetaSpace内存以及JVM Overhead内存。这5部分的总和就是总的Total Process Memory，这个值可以通过flink-conf.yml中taskmanager.memory.process.size配置，通过上面配置截图可以看出，例子中的总内存为4G。

Total Flink Memory

TaskManager进程占用的所有与Flink有关的内存(不包括JVM MetaSpace和Overhead内存），具体上上面截图所示，包含4大块：Flink框架内存（堆内/堆外），托管内存（堆外），网络缓存（堆外），任务内存（堆内/堆外）。我们可以通过taskmanager.memory.flink.size来指定flink 内存，同时flink官方建议我们不要同时配置Process Memory和Flink Memory。

# It is not recommended to set both 'taskmanager.memory.process.size' and Flink memory.

JVM Heap

JVM Heap分为两大部分，一个是Flink框架需要使用的堆内存，一个是Task运行所需的堆内存。

Framework Heap

Framework Heap是Flink框架保留的，不会用来执行Task，大小通过taskmanager.memory.framework.heap.size指定。

Task Heap

Task Heap Memory是专门用于执行Flink任务的堆内存空间，是用户代码，自定义数据结构真正占用的内存，通过参数taskmanager.memory.task.heap.size指定。

Off-Heap Memory

Managed Memory

Managed Memory是有Flink直接管理的堆外内存，用于排序，哈希表，中间结果缓存，以及RocksDB的状态后端。通过参数taskmanage.memory.managed.size指定，默认情况下不配置，通过参数taskmanager.memory.managed.fraction因子(默认0.4) * Total Flink Memory来指定大小。

Direct Memory

Framework Off-heap Memory

Flink框架的堆外内存部分，默认128M，通过taskmanager.memory.framework.off-heap.size指定，不建议修改。

Task Off-heap Memory

Flink执行task所使用的堆外内存。如果在Flink应用的代码中调用了Native的方法，需要用到off-head内存，这些内存会分配到Off-heap堆外内存中，通过参数taskmanage.memory.task.off-heap.size 指定，默认为0.

Network Memory

Flink的Task之间的shuffle，广播等操作以及与外部组件的数据传输需要用到Network Memory，该值通过以下3个参数确定：

taskmanager.memory.network.min:Network Memory最小值
taskmanager.memory.network.max:Network Memory最大值
taskmanager.memory.network.fraction:Network Memory占Total Flink Memory的比例，默认0.1，如果通过该比例值计算出的结果超出前两个MIN-MAX参数的范围，则已MIN-MAX为准。如果MIN-MAX参数使用同样的值，则表示NetWork是固定的内存大小。