Flink TM 内存模型_flink task heap

目录

Framework Heap

Task Heap

Managed Memory

Network

JVM Metaspace

---

JVM Heap：FrameworkHeap + TaskHeap

Off-Heap Memory: Managed Memory + Direct Memory（framework off-heap + task off-heap + network） 

JVM Metaspace

JVM Overhead

Framework Heap

framework heap: flink框架本身占用的内存，该内存一般不需要调整；

涉及参数

taskmanager.memory.framework.heap.size : 堆内内存

taskmanager.memory.framework.off-heap.size：堆外内存

Task Heap

task heap: 用于flink应用的算子以及用户代码占用的内存

taskmanager.memory.task.heap.size: 堆内内存（task heap），无默认值，一般不建议设置：flink 总内存 - 框架 - 托管 - 网络 三部分的内存推算得出；

taskmanager.memory.task.off-heap.size: 堆外内存, 默认为0， 一般也不需要设置；如果代码中需要调用native method并分配堆外内存，可以指定

Managed Memory

纯堆外内存：memorymanager 管理，用于中间结果缓存、排序、哈希表以及rockdb 的状态后端；python进程udf也是这个内存。

涉及参数

taskmanager.memory.managed.fraction: 托管内存占flink总内存（task.memory.flink.size）的比例，默认为0.4

task.memory.managed.size: 无默认值，使用的fraction计算的~~

Network

Network Memory使用的是directory memory，用于task 与 task之间进行数据交换（shuffle）

涉及参数：

taskmanager.memory.network.min: 最小值， 64M

taskmanager.memory.network.max: 最大值，默认为1GB

taskmanager.memory.network.fraction：网络缓存占flink总内存（taskmanager.memory.flink.size）默认为0.1

JVM Metaspace

元空间内存大小；

涉及参数:taskmanager.memory.jvm-metaspace.size : 默认为256MB

JVM Overhead

保留给JVM的其他内存开销：比如Thread Stack、 code cache、 GC回收空间等。这个是有三个配置决定的：

taskmanager.memory.jvm-overhead.min: JVM额外开销的最小值，默认192M

taskmanager.memory.jvm-overhead.max: JVM额外开销的最大值，默认1G

taskmanager.memory.jvm-overhead.fraction: JVM额外开销占TM进程总内存taskmanager.memory.process.size的比例，默认为0.1