Flink TaskManager的Memory Model内存模型_flink memory model

1. Memory Model内存模型图

1.1 Total Process Memory

作用：整个TaskManager进程的内存
组成：等于Total Flink Memory + JVM Metaspace + JVM Overhead
配置：由taskmanager.memory.process.size: xxxm配置，默认为1728m

Total Flink Memory
作用：属于Flink的内存
配置：由taskmanager.memory.flink.size: xxxm配置，没有默认值。不推荐同时配置Total Process Memory和Total Flink Memory

JVM Metaspace
作用：属于Off Heap内存，主要储存类的元数据
配置：由taskmanager.memory.jvm-metaspace.size: xxxm配置，默认为256m

JVM Overhead
作用：属于Off Heap内存，保留给JVM其他的内存开销，例如Thread Stack、code cache、GC回收等
配置：由下面3个参数进行配置

• taskmanager.memory.jvm-overhead.min: xxxm，默认为192m
• taskmanager.memory.jvm-overhead.max: xxxm，默认为1g
• taskmanager.memory.jvm-overhead.fraction: 0.xx，默认为0.1

1.2 Total Flink Memory

组成：等于JVM Heap + Managed Memory + Direct Memory

1.2.1 JVM Heap

Framework Heap
作用：TaskManager框架自己所以的Heap内存，不用于执行task
配置：由taskmanager.memory.framework.heap.size: xxxm配置，默认为128m

Task Heap
作用：执行task所需的Heap内存
配置：由taskmanager.memory.task.heap.size: xxxm配置，默认等于Total Flink Memory – Framework Heap – Managed Memory – Direct Memory

1.2.2 Managed Memory

作用：属于Off Heap内存，主要用于排序、哈希表、中间结果缓存、RocksDB的backend
配置：
方式一：由taskmanager.memory.managed.size: xxxm配置，没有默认值
方式二：由taskmanager.memory.managed.fraction: 0.xx配置，默认为0.4，即Total Flink Memory的40%

1.2.3 Direct Memory

Framework Off-Heap
作用：taskManager保留的Off-Heap内存，不会分配给任何slot
配置：由taskmanager.memory.framework.off-heap.size: xxxm配置，默认为128m。不建议进行修改

Task Off-Heap
作用：用于Flink代码中调用Native方法
配置：由taskmanager.memory.task.off-heap.size: xxxm配置，默认为0m

Network
作用：Task与Task之间进行数据Shuffle时的缓存内存
配置：由下面3个参数进行配置

• taskmanager.memory.network.min: xxxm，默认为64m
• taskmanager.memory.network.max: xxxm，默认为1g
• taskmanager.memory.network.fraction: 0.xx，默认为0.1

2. JVM内存概念

2.1 Heap

作用：主要用于储存new出来的对象和数据，由GC垃圾回收器进行维护

2.2 Off-Heap

作用：主要用于储存地址空间，不由GC垃圾回收器维护