热门标签
热门文章
- 1SpringBoot 集成neo4j【neo4j图库搭建】_springboot neo4j3.5
- 2pyqt5中QBasicTimer跟QTimer的使用_pyqt6 qbasictimer connect
- 3做一只勤劳的小蜜蜂
- 4Modbus转BACnet/IP网关BA100-配硬件说明
- 5CodeWave智能开发平台--02--目标:文档快速阅读--02新手入门_网易数帆轻舟低代码平台里面的流程学习
- 6LLM驱动的智能客服:提升用户体验的秘诀_llm 智能客服
- 7CUDA并行加速二---GPU架构_cuda并行化加速
- 8杭电数字电路课程设计——移位寄存器_双向移位寄存器 verilog
- 9scrapy 学习之路上的那些坑_怎么学scrapy
- 10分享一个好用的AI 动漫图片工具 - AI Anime Generator，输入文字，1分钟生成动漫图片_AI绘画工具
当前位置: article > 正文
大数据组件:Flink内存模型_flank 内存模型
作者：人工智能uu | 2024-07-27 18:59:30
赞
踩
flank 内存模型
1、Flink进程内存模型
| 配置项 | TaskManager 配置参数 | JobManager 配置参数 |
|---|---|---|
| Flink 总内存 | taskmanager.memory.flink.size | jobmanager.memory.flink.size |
| 进程总内存 | taskmanager.memory.process.size | jobmanager.memory.process.size |
2、Task Managers内存模型
| 组成部分 | 配置参数 | 描述 |
|---|---|---|
| 框架堆内存（Framework Heap Memory） | taskmanager.memory.framework.heap.size | 用于 Flink 框架的 JVM 堆内存（进阶配置）。 |
| 任务堆内存（Task Heap Memory） | taskmanager.memory.task.heap.size | 用于 Flink 应用的算子及用户代码的 JVM 堆内存。 |
| 托管内存（Managed memory） | taskmanager.memory.managed.size taskmanager.memory.managed.fraction | 由 Flink 管理的用于排序、哈希表、缓存中间结果及 RocksDB State Backend 的本地内存。 |
| 框架堆外内存（Framework Off-heap Memory） | taskmanager.memory.framework.off-heap.size | 用于 Flink 框架的堆外内存（直接内存或本地内存）（进阶配置）。 |
| 任务堆外内存（Task Off-heap Memory） | taskmanager.memory.task.off-heap.size | 用于 Flink 应用的算子及用户代码的堆外内存（直接内存或本地内存）。 |
| 网络内存（Network Memory） | taskmanager.memory.network.min taskmanager.memory.network.max taskmanager.memory.network.fraction | 用于任务之间数据传输的直接内存（例如网络传输缓冲）。该内存部分为基于 Flink 总内存的受限的等比内存部分。这块内存被用于分配网络缓冲 |
| JVM Metaspace | taskmanager.memory.jvm-metaspace.size | Flink JVM 进程的 Metaspace。 |
| JVM 开销 | taskmanager.memory.jvm-overhead.min taskmanager.memory.jvm-overhead.max taskmanager.memory.jvm-overhead.fraction | 用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。 |
3、Job Manager内存模型
| 组成部分 | 配置参数 | 描述 |
|---|---|---|
| JVM 堆内存 | jobmanager.memory.heap.size | JobManager 的 JVM 堆内存。 |
| 堆外内存 | jobmanager.memory.off-heap.size | JobManager 的堆外内存（直接内存或本地内存）。 |
| JVM Metaspace | jobmanager.memory.jvm-metaspace.size | Flink JVM 进程的 Metaspace。 |
| JVM 开销 | jobmanager.memory.jvm-overhead.min jobmanager.memory.jvm-overhead.max jobmanager.memory.jvm-overhead.fraction | 用于其他 JVM 开销的本地内存，例如栈空间、垃圾回收空间等。该内存部分为基于进程总内存的受限的等比内存部分。 |
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/891363
推荐阅读
相关标签
