如何保证kafka消息不丢失_kafka如何保证消息不丢失

作者：笔触狂放9 | 2024-07-11 09:06:47

踩

kafka如何保证消息不丢失

背景

这里的kafka值得是broker,broker消息丢失的边界需要对齐一下：

1 已经提交的消息

2 有限度的持久化

如果消息没提交成功，并不是broke丢失了消息；

有限度的持久化（broker可用）

producer.send(Object msg) ; 这个发送消息的方式是异步的；fire and forget,发送而不管结果如何；

失败的原因可能有很多，比如网络抖动，发送消息超出大小限制；

怎么破呢？永远使用带有返回值值的消息发送方式，即 producer.send(msg,callback)

通过callback可以准确的告诉你消息是否发送成功了，发送失败了你也可以有处置方法；

网络抖动：重发

发送消息超出大小：调整消息大小进行发送

这种情况并不是broker丢失消息了，是producer的消息没有提交成功。

kafka消费消息的模型:

即消费消息，设置好offset，类比一下：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/809458