当前位置:   article > 正文

Kafka 如何保证消息不丢失?

Kafka 如何保证消息不丢失?

消息不丢失机制 

broker数据不丢失

生产者通过分区的leader写入数据后,所有在ISR中follower都会从leader中复制数据,这样,可以确保即使leader崩溃了,其他的follower的数据仍然是可用的

生产者数据不丢失 

1.生产者连接leader写入数据时,可以通过ACK机制来确保数据已经成功写入。ACK机制有三个可选配置

  1. 配置ACK响应要求为 -1 时 —— 表示所有的节点都收到数据(leader和follower都接收到数据)
  2. 配置ACK响应要求为 1 时 —— 表示leader收到数据
  3. 配置ACK影响要求为 0 时 —— 生产者只负责发送数据,不关心数据是否丢失(这种情况可能会产生数据丢失,但性能是最好的)

2.生产者可以采用同步和异步两种方式发送数据 

  1. 同步:发送一批数据给kafka后,等待kafka返回结果
  2. 异步:发送一批数据给kafka,只是提供一个回调函数。

说明:如果broker迟迟不给ack,而buffer又满了,开发者可以设置是否直接清空buffer中的数据。 

消费者数据不丢失 

在消费者消费数据的时候,只要每个消费者记录好offset值即可,就能保证数据不丢失。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/羊村懒王/article/detail/548016
推荐阅读
相关标签
  

闽ICP备14008679号