热门标签
热门文章
- 1【Web安全笔记】之【7.0 防御技术】_前端 实现 att&ck matrix for enterprise
- 2基于Java和百度AI果蔬智能识别系统设计与实现(Springboot框架)毕业设计论文提纲参考
- 3汇编语言程序设计的执行过程中的7个常见指令_汇编语言中的drc
- 4微信小程序-列表渲染、获取列表传递值_wx:for 渲染 icon
- 5解决Iframe无论怎么设置都无法透明的问题
- 6跟随鼠标3D倾斜
- 7Embedded Browser（ZFBrowser）使用相关问题（不安全证书链接）_zfbrowser不能播放视频
- 8Docker入门-常用命令、镜像分层、容器卷_docker 查看层级
- 9Unity游戏开发客户端面经——性能优化（初级）_unity 脏标记
- 10五分钟搞定人工智能数学之线性代数_人工智能 线性代数
当前位置: article > 正文
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法_flume 感知kafka分区变化
作者：你好赵伟 | 2024-02-12 20:46:48
赞
踩
flume 感知kafka分区变化
Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法
一、背景
- 生产环境Kafka集群压力大，Topic读写压力大，消费的lag比较大，因此通过扩容Topic的分区，增大Topic的读写性能
- 理论上下游消费者应该能够自动消费到新的分区，例如flume消费到了新的分区，但是实际情况是存在flink消费者没有消费到新的分区
二、解决方法
出现无法消费topic新的分区这种情况，最简单的解决方法是
- 重启flink消费者程序
三、实现自动发现新的分区
flink程序增加自动发现分区参数：
- flink.partition-discovery.interval-millis是一个配置属性，用于设置Flink作业中的分区发现间隔时间（以毫秒为单位）。
- 在Flink作业中，数据源（例如Kafka或文件系统）的分区可能会发生变化。为了及时感知分区的变化情况，
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/78502
推荐阅读
- swagger：swagger 引入
[详细] 赞
踩
相关标签
