搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
我家自动化
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
Golang 处理键盘输入的两种方法(fmt & bufio)_golang 等待输入
2
零门槛用AI大模型,AI全能工具箱302.AI让人工智能AIGC变得简单易用!
3
黑马程序员——微信小程序本地生活案例_黑马本地生活接口
4
想保研中科院的同学请注意:这些重要信息你都get了吗?!_计算机保研
5
Swift-UIScrollView使用详解_swiftui scrollview使用
6
Kafka【应用 01】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试(一篇学会使用 Offset Explorer(2)_kafka offsetexplorer2
7
如何防止社工钓鱼——软件伪造
8
python hook教程_抖音数据采集教程,详解Hook框架frida,让你在逆向工作中效率成倍提升!...
9
CentOS 7上安装Python 3.9_centos7 安装 python3.9 openssl1.1.1 =auto
10
Flask+mysql 实现增删改查接口开发+测试(图文教程附源码)_flask连接mysql实现增删改查
当前位置:
article
> 正文
Kafka_kafka发送数据指定partition
作者:我家自动化 | 2024-07-06 21:27:22
赞
踩
kafka发送数据指定partition
Kafka
Kafka 是否会弄丢数据?
主要取决于我们如何使用。
消费端弄丢了数据?
只要关闭自动提交 offset ,在处理完之后自己手动提交 offset ,就可以保证数据不会丢。可能会有重复消费,需要保证幂等性
Broker 弄丢了数据?
replication.factor 参数:这个值必须大于 1要求每个 partition 必须有至少 2 个副本。
min.insync.replicas 参数:这个值必须大于 1 ,要求一个 leader 至少感知到有至少一个 follower 还跟自己保持联系,没掉队
在 Producer 端设置 acks=all:这个是要求每条数据,必须是写入所有 replica 之后,才能认为是写成功了
在 Producer 端设置 retries=MAX,这个是要求一旦写入失败,就无限重试,卡在这里了
生产环境就是按照上述要求配置的,可以保证在 leader 所在 Broker 发生故障,进行 leader 切换时,数据不会丢失。
生产者会不会弄丢数据?
按照上述的思路设置了 acks=all ,一定不会丢,要求是,你的 leader 接收到消息,所有的 follower 都同步到了消息之后,才认为本次写成功了。如果没满足这个条件,生产者会自动不断的重试,重试无限次。
Kafka 如何保证消息的顺序性?
方式一,Consumer ,对每个 Partition 内部单线程消费,单线程吞吐量太低,一般不会用这个。
方式二,Consumer ,拉取到消息后,写到 N 个内存 queue,具有相同 key 的数据都到同一个内存 queue 。然后,对于 N 个线程,每个线程分别消费一个内存 queue 即可,这样就能保证顺序性。
实际情况也不太需要考虑消息的顺序性,基本没有业务需要。
ZooKeeper 在 Kafka 中起到什么作用?
Broker、Producer、Consumer 和 Zookeeper 的交互。
Broker 在 ZooKeeper 中的注册。
Topic 在 ZooKeeper 中的注册。
Consumer 在 ZooKeeper 中的注册。
Consumer 负载均衡。
相应的状态存储到 Zookeeper 中。
Producer 负载均衡。
Producer 从 Zookeeper 拉取 Topic 元数据,从而能够将消息发送负载均衡到对应 Topic 的分区中
记录消费进度 Offset 。
记录 Partition 与 Consumer 的关系。
声明:
本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
https://www.wpsshop.cn/w/我家自动化/article/detail/794038
推荐阅读
article
【
Kafka
系列 04】
Kafka
性能
调优
,
怎么做?
_
kafka
性能
调优
...
通常来说
,
调优
是为了满足系统常见的非功能性需求。在众多的非功能性需求中
,
性能
绝对是我们最关心的那一个。不同的系统对
性能
有...
赞
踩
article
kafka
调优
_
kafka
调优
...
kafka
调优
压力测试_
kafka
调优
kafka
调优
目录 一、硬件配置
调优
二、生...
赞
踩
article
Kafka
性能
调优
...
至少一次(At Least Once)= ack级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2...
赞
踩
article
【
Kafka
专栏】
windows
搭建
Kafka
环境
& 详细教程(
01
)_
windows
kafka
...
【天工系列】
windows
搭建
Kafka
环境
& 详细教程,旨在帮助读者快速搭建
kafka
环境
,以便后续项目开发_win...
赞
踩
article
Kafka
: Windows环境-单机部署和伪
集群
、
集群
部署_
windows
kafka
集群
安装
部署...
initLimit:这个配置项是用来配置 Zookeeper 接受客户端(这里所说的客户端不是用户连接 Zookeepe...
赞
踩
article
Kafka
【应用
01
】
Offset
Explorer
Kafka
的
终极
UI
工具安装+简单上手...
well as the messages stored in the topics of the cluster. It...
赞
踩
article
使用
Kafka
客户端
(
kafka
-
clients
)的
Java
API操作
Kafka
的
Topic
...
记录:460场景:在Spring Boot微服务集成
Kafka
客户端
kafka
-
clients
-3.0.0操作
Kafka
...
赞
踩
article
offset
explore
工具介绍(
kafka
)_
offset
explore
r...
配置zookeeper的ip和端口。配置
kafka
的ip和端口。_
offset
explore
r
offset
explo...
赞
踩
article
Kafka
【应用
01
】
Offset
Explorer
Kafka
的
终极 UI 工具安装+简单上手...
well as the messages stored in the topics of the cluster. It...
赞
踩
article
rt-
thread
物联网开发板用
qboot
实现固件ota升级_
qboot
firmware
chec...
使用
qboot
软件包制作bootloader为了使bootloader尽量小,对内核及其组件进行了如下配置线程间通信只用...
赞
踩
article
Kafka
实战 -
Kafka
优化之实现延时
队列
_
kafka
-
delayed
-
producer
...
总结来说,在实现
Kafka
延迟
队列
时,可以根据项目的具体需求、现有技术栈以及团队的开发运维能力,选择上述的一种或多种...
赞
踩
article
Kafka
3
.
x
.
x
入门到精通(
02
)——对标尚
硅谷
Kafka
教程_
kafka
3
...
Kafka
是一个由Scala和Java语言开发的,经典高吞吐量的分布式消息发布和订阅系统,也是大数据技术领域中用作数据交...
赞
踩
article
Kafka
管理
TCP
连接...
Kafka
管理
TCP
连接
Kafka
管理
TCP
连接 生产者管理
TCP
连接
Kafka
生...
赞
踩
article
kafka
生产者
API 实践总结...
kafka
对外提供的 API 主要有两类:
生产者
API 和 消费者 API,本文将从Kafka
生产者
的设计和组件讲起...
赞
踩
article
【
Kafka
-
3
.x-
教程
】-【一】
Kafka
概述、
Kafka
快速入门_
kafka
cdc
s
3
...
Kafka
是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大
数据
实时处理领域。缓冲...
赞
踩
article
Kafka
3
.
x
.
x
入门到精通(08)——对标尚
硅谷
Kafka
教程
_尚
硅谷
kafka
3
.
x
教程
资...
Kafka
是一个由Scala和Java语言开发的,经典高吞吐量的分布式消息发布和订阅系统,也是大数据技术领域中用作数据交...
赞
踩
article
【2
0
24】
kafka
原生以及配合
springboot
的
使用
(
Kafka
-
3
)_
kafka
3
.
0
.
0
...
本文主要是介绍通过
使用
原生代码方式和结合
springboot
分别如何更好的去
使用
理解
kafka
如果需要看理论或者安装ka...
赞
踩
article
消息
队列三|
Kafka
如何做到
高
可用
?
_
kafka
高
可用
...
Kafka
如何做到
高
可用
?
_
kafka
高
可用
kafka
高
可用
我们在之前的文章中,聊到...
赞
踩
article
kafka
(八):
Kafka
高
可用性
_
kafka
可用性
...
1.
Kafka
Partition Replication 功能:增加Topic分区的
可用性
每个Partition分...
赞
踩
article
图解
kafka
的
高可用
机制
...
2019独角兽企业重金招聘Python工程师标准>>> ..._kafaka 高可用使用
的
协议k...
赞
踩
相关标签
kafka
分布式
java
windows
zookeeper
linux
运维
ui
Kafka客户端
kafka-clients
Java API
操作Kafka的Topic
Java
单元测试
功能测试
学习
物联网
iot
rt-thread
ota