搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
酷酷是懒虫
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
2023黑马头条.微服务项目.跟学笔记(一)_黑马头条项目亮点与难点
2
隐私计算在金融行业的深度应用
3
Facebook Messenger,实时视频,AI和互联网卫星未来…F8大会精彩看点看过来!_ai 卫星互联网
4
【Ubuntu】安装使用pyenv - Python版本管理_ubuntu pyenv
5
项目启动阶段的主要工作
6
vue对axios进行请求响应封装_vue2 axios封装
7
机房建设:打造高效稳定的数据中心基石_机房建设的目的和意义
8
linux常用命令-wget命令详解(超详细)
9
基于大型语言模型的智能化客户服务机器人_基于大模型的智能客服
10
Latex编译参考文献时出错的解决_this is bibtex, version 0.99d (miktex 2.9) the top
当前位置:
article
> 正文
flink内存管理_flink jvm堆内存 分三块
作者:酷酷是懒虫 | 2024-08-18 12:27:45
赞
踩
flink jvm堆内存 分三块
概述
flink
积极
的内存管理体现在:
定义MemorySegment——不直接使用JVM的byte,而是将jvm的堆内内存&堆外内存统一用MemorySegment管理,这样的好处在于:1、可以使用堆外内存;2、将jvm堆内存分成固定大小的page后,可以配合序列化和类型信息系统(type infomation system)在二进制基础上快速操作(而不是先反序列化为对象然后再操作)
在JVM 内存结构规划上,Flink 也作了相应的调整:将JVM堆分为三个区域,并且将MemoryManager 和 Network Buffers 两个实现了显式内存管理的子系统分配到老年代,而留给用户代码的 Free 区域分配到新生代。显而易见,因为所有常驻型数据都以二进制的形式存在 Flink 的MemoryManager中,这些MemorySegment一直呆在老年代而不会被GC回收。其他的数据对象基本上是由用户代码生成的短生命周期对象,这部分对象可以被 Minor GC 快速回收。只要用户不去创建大量类似缓存的常驻型对象,那么老年代的大小是不会变的,Major GC也就永远不会发生。从而有效地降低了垃圾回收的压力。另外,这里的内存块还可以是堆外内存,这可以使得 JVM 内存更小,从而加速垃圾回收。
细节
Taskmanager将JVM堆分为三个区域:
网络缓冲区(network buffer):网络堆栈使用若干32 KB的buffer来缓冲网络传输的记录。 在TaskManager启动时分配。 默认情况下,使用2048个缓冲区(64M),但可以通过
taskmanage
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/997464
推荐阅读
article
Flink
实时
数仓
(一) ---------
数据
采集
层_
flink
实时
数仓
...
Flink
实时
数仓
数据
采集
层_
flink
实时
数仓
flink
实时
数仓
...
赞
踩
article
Flink
-
ML
机器学习...
Flink
ML
是
Flink
的机器学习(
ML
)库。这是
Flink
社区的一项新工作,其中包含越来越多的算法和贡献者。使用Fl...
赞
踩
article
通过
docker
-
compose
快速
部署
Flink
保姆级教程_
flink
docker
...
Apache
Flink
是一个开源的流处理框架,用于处理和分析实时数据流。它支持事件驱动的应用和复杂的事件处理(CEP...
赞
踩
article
Flink
-
Checkpoint
机制
详解
:(第41天)
_
flink
检查点
机制
...
本文通过案例方式
详解
-
Flink
-
Checkpoint
机制
。
_
flink
检查点
机制
flink
检查点
机制
...
赞
踩
article
flink
容错机制(
检查点
的
保存
、恢复、
检查点
算法、
保存
点、状态
一致性
的三种级别、
end
-to-e...
flink
将之前某个时间点所有的状态
保存
下来,这份就是所谓的
检查点
(checkpoint)。
检查点
是 Flink 容...
赞
踩
article
Flink
专题 -
2
Checkpoint
、
Savepoint
机制...
CheckPoint1. checkpoint 保留策略默认情况下,checkpoint 不会被保留,取消程序时即会删除...
赞
踩
article
【
Flink
】
Flink
checkpoint
本地
磁盘
没有清除_
flink
集群不
删除
checkp...
本文探讨了在
Flink
中,当
checkpoint
配置为
本地
磁盘
且仅保留最新五个时,taskmanager
磁盘
上的chec...
赞
踩
article
Flink
State
状态以及
Checkpoint
机制
(二)_
flink
不
启用
checkpoint
...
在上篇文章中介绍了如何
Flink
的
State
状态,本篇文章接着上篇文章继续介绍
Flink
的
Checkpoint
机制
。启动...
赞
踩
article
Flink
(
32
):
Flink
之
Checkpoint
_
flinkcheckpoint
存储
在
哪...
目录0. 相关文章链接1. State Vs
Checkpoint
2.
Checkpoint
执行流程2.1. 简单流程2...
赞
踩
article
Flink
Checkpointing
_
checkpoint
barri
er 对齐机制实现 exac...
flink中每个function和operator都可以状态化,具有可状态化的元素,可以再处理数据过程中进行数据存储,参...
赞
踩
article
Flink
-
Checkpoint
源码详解_
flink
checkpoint
源码...
Flink
chcekpoint作为
flink
中最重要的部分,是
flink
精准一次性的重要保证,可以这么说
flink
之所...
赞
踩
article
Flink
windows
wsl安装
ubuntu
运行
flink
...
【代码】
Flink
windows
wsl安装
ubuntu
运行
flink
。
Flink
windows
wsl安装ubu...
赞
踩
article
Flink
-
DataWorks
第二部分:
数据
集成
(第58天)_
flink
cdc
3.0
...
本文主要详解了
DataWorks
的
数据
集成
,为第二部分:由于篇幅过长,分章节进行发布。后续:
数据
集成
的使用
数据
开...
赞
踩
article
Next Station of
Flink
CDC
_
flink
cdc
3.0
支持那些
数据库
...
阿里云智能
Flink
CDC
负责人伍翀分享了
Flink
CDC
在过去一年的显著增长,包括新增
数据库
支持、引擎性能增强和社区贡...
赞
踩
article
Flink
CDC
:基于
Apache
Flink
的流式
数据
集成
框架
...
Flink
CDC
最早的发展就始于 GitHub 开源社区。自 2020 年 7 月开始,项目在 Ververica ...
赞
踩
article
Flink
-
StarRocks
详解:第四部分
StarRocks
分区
管理,
数据
压缩(第54天)_sta...
本文为
Flink
-
StarRocks
详解后续章节:主要详解
StarRocks
分区
分桶管理,
数据
压缩,由于篇幅过长,后续接...
赞
踩
article
Flink
-
DataWorks
第四部分
:
数据
同步
(第60天)_
数据
同步
功能
配置
说明...
本文主要详解了
DataWorks
的
数据
同步
,为第四部分
:
由于篇幅过长,分章节进行发布。后续
:
数据
开发。_
数据
同步
功能...
赞
踩
article
Flink
-
StarRocks
详解:第五部分
查询
数据
湖(第55天)_
starrocks
查询
版本
语法...
本文为
Flink
-
StarRocks
详解后续章节:主要详解
StarRocks
查询
数据
湖由于篇幅过长,后续接着下面进行详解...
赞
踩
article
大
数据
处理引擎
Spark
与
Flink
大
比拼_
大
数据
中
spark
flink...
本文探讨了
大
数据
处理引擎
Spark
与
Flink
的异同,指出
Spark
以统一引擎支持多种场景,而
Flink
凭借优秀的流处理...
赞
踩
article
Flink
-
Watermark
机制
详解:(第39天)_
flinksql
watermark
测试...
Watermark
机制
,在Apache
Flink
这样的流处理框架中,扮演着至关重要的角色,特别是在处理事件时间(Eve...
赞
踩
相关标签
flink
大数据
hadoop
docker
容器
java
big data
实时大数据
windows
ubuntu
apache
流计算
Flink CDC