- 1Redis Desktop Manager安装和使用_redisdesktopmanager
- 2【Redis系列】Redis安装与使用_redis怎么安装使用
- 3【转】深度学习在生物医学领域的应用 进展述评_深度学习在医疗与生物界的应用概述
- 4编译原理（一）——词法分析
- 5TCP三次握手与四次挥手_lished
- 6【快递100】快递时效接口获取快递预计到达时间_快递100博客
- 7Pytorch简单实现seq2seq+Attention机器人问答_pytorch seq2seq实现问答
- 8【git】idea撤销commit，回到本地更改LocalChange_idea git commit撤回到本地
- 9【开源免费】Vue+SpringBoot打造假日旅社管理系统，初学者入门实战项目
- 10深入探索C语言技术世界：全面学习路径与关键知识点
Flink(十)：TaskManager 内存简介_taskmanager.memory.process.size
赞
踩
一、简介
Flink TaskManager（也称为 worker）执行作业流的 task，并且缓存和交换数据流，TaskManager 负责执行用户代码。根据实际需求为 TaskManager 配置内存将有助于减少 Flink 的资源占用，增强作业运行的稳定性。
二、TaskManager内存模型简介
说明：
| 组成部分 | 配置参数 | 描述 |
|---|---|---|
| 框架堆内存（Framework Heap Memory） | taskmanager.memory.framework.heap.size | 用于 Flink 框架的 JVM 堆内存通常情况下，不建议对框架堆内存和框架堆外内存进行调整 默认128M |
| 任务堆内存（Task Heap Memory） | taskmanager.memory.task.heap.size | 用于 Flink 应用的算子及用户代码的 JVM 堆内存，任务堆内存是由 Total Flink Memory -（ Framework Heap Memory、Framework Off-Heap Memory、Task Off-Heap Memory、Managed Memory 、 Network Memory） |
| 托管内存（Managed memory） | taskmanager.memory.managed.size taskmanager.memory.managed.fraction | 由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存 taskmanager.memory.managed.fraction默认是0.4*总内存 |
| 框架堆外内存（Framework Off-heap Memory） | taskmanager.memory.framework.off-heap.size | 用于 Flink 框架的堆外内存（直接内存或本地内存）（进阶配置），默认128M |
| 任务堆外内存（Task Off-heap Memory） | taskmanager.memory.task.off-heap.size | 用于 Flink 应用的算子及用户代码的堆外内存（直接内存或本地内存） 默认值为 0，不使用堆外内存 |
| 网络内存（Network Memory） | taskmanager.memory.network.min taskmanager.memory.network.max taskmanager.memory.network.fraction | 用于任务之间数据传输的直接内存（例如网络传输缓冲）。该内存部分为基于Flink 总内存的受限的等比内存部分。这块内存被用于分配网络缓冲， taskmanager.memory.network.min：网络缓存的最小值，默认 64MB； taskmanager.memory.network.max：网络缓存的最大值，默认 1GB； taskmanager.memory.network.fraction：默认Flink 总内存*0.1，若根据此比例算出的内存量比最小值小或比最大值大，就会限制到最小值或者最大值 |
| JVM Metaspace | taskmanager.memory.jvm-metaspace.size | Flink JVM 进程的 Metaspace 默认值 256MB |
| JVM 开销 | taskmanager.memory.jvm-overhead.min taskmanager.memory.jvm-overhead.max taskmanager.memory.jvm-overhead.fraction | 用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分 |
三、TaskManager内存运用场景
1、任务堆内存（Task Heap Memory）
用于 Flink 应用的算子及用户代码的 JVM 堆内存。默认值：
Total Flink Memory -（ Framework Heap Memory、Framework Off-Heap Memory、Task Off-Heap Memory、Managed Memory 、 Network Memory）
2、堆外内存（Task Off-heap Memory）
在Flink应用的代码中调用了Native的方法，需要用到off-heap内存，这些内存会分配到Off-heap堆外内存中，大部分情况下是不用，堆外内存有优点，也有缺点。默认为0
3、托管内存（Managed memory）
托管内存是由 Flink 负责分配和管理的本地（堆外）内存。 以下场景需要使用托管内存：
- 流处理作业中用于 RocksDB State Backend。
- 流处理和批处理作业中用于排序、哈希表及缓存中间结果。
- 流处理和批处理作业中用于在 Python 进程中执行用户自定义函数。
4、配置-Dtaskmanager.memory.process.size=8192m，可以清晰查看实际分配的情况
