热门标签
热门文章
- 1TCP/IP学习--------------- MSS_mss默认值
- 2关于如何取消访问https时的提示：“此网站的安全证书存在问题”的解决方法...
- 3IntelliJ IDEA 2024.1 更新亮点汇总：全面提升开发体验
- 4学历的风口被谁占了？专科/本科程序员之间有什么区别？智商，能力？待遇区别这么大！！！_大专学历可以敲代码嘛
- 5数据库【嵌套查询】_数据库嵌套查询
- 6推荐开源项目：Mobile Security Framework (MobSF)
- 7HiveSQL基础Day03
- 8docker部署访问postgres数据库（一次到位）_用虚拟机安装的docker pull报错 connection reset by peer
- 9leetcode日记03
- 10Win11部署so-vits-svc及Pydantic报错的解决方法_so-vits-svc报错gradio 4.20.1 depends on pydantic>=2.
当前位置: article > 正文
Flink内存模型
作者：知新_RL | 2024-04-15 23:59:08
赞
踩
Flink内存模型
1、Flink进程内存模型
| 配置项 | TaskManager 配置参数 | JobManager 配置参数 |
|---|---|---|
| Flink 总内存 | taskmanager.memory.flink.size | jobmanager.memory.flink.size |
| 进程总内存 | taskmanager.memory.process.size | jobmanager.memory.process.size |
2、Task Managers内存模型
| 组成部分 | 配置参数 | 描述 |
|---|---|---|
| 框架堆内存（Framework Heap Memory） | taskmanager.memory.framework.heap.size | 用于 Flink 框架的 JVM 堆内存（进阶配置）。 |
| 任务堆内存（Task Heap Memory） | taskmanager.memory.task.heap.size | 用于 Flink 应用的算子及用户代码的 JVM 堆内存。 |
| 托管内存（Managed memory） | taskmanager.memory.managed.size taskmanager.memory.managed.fraction | 由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存。 |
| 框架堆外内存（Framework Off-heap Memory） | taskmanager.memory.framework.off-heap.size | 用于 Flink 框架的堆外内存（直接内存或本地内存）（进阶配置）。 |
| 任务堆外内存（Task Off-heap Memory） | taskmanager.memory.task.off-heap.size | 用于 Flink 应用的算子及用户代码的堆外内存（直接内存或本地内存）。 |
| 网络内存（Network Memory） | taskmanager.memory.network.min taskmanager.memory.network.max taskmanager.memory.network.fraction | 用于任务之间数据传输的直接内存（例如网络传输缓冲）。该内存部分为基于 Flink 总内存的受限的等比内存部分。这块内存被用于分配网络缓冲 |
| JVM Metaspace | taskmanager.memory.jvm-metaspace.size | Flink JVM 进程的 Metaspace。 |
| JVM 开销 | taskmanager.memory.jvm-overhead.min taskmanager.memory.jvm-overhead.max taskmanager.memory.jvm-overhead.fraction | 用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。 |
3、Job Manager内存模型
| 组成部分 | 配置参数 | 描述 |
|---|---|---|
| JVM 堆内存 | jobmanager.memory.heap.size | JobManager 的 JVM 堆内存。 |
| 堆外内存 | jobmanager.memory.off-heap.size | JobManager 的堆外内存（直接内存或本地内存）。 |
| JVM Metaspace | jobmanager.memory.jvm-metaspace.size | Flink JVM 进程的 Metaspace。 |
| JVM 开销 | jobmanager.memory.jvm-overhead.min jobmanager.memory.jvm-overhead.max jobmanager.memory.jvm-overhead.fraction | 用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。 |
本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/431036
推荐阅读
相关标签
