【kafka专栏】如何保证数据生产不重不漏的高可靠性，面试真题解析_kafka的生产者消息重试机制

kafka要保证消息的生产消费可靠性，需要从三个方面进行管理，一是kafka集群服务端，二是kafka生产者客户端，三是kafka消费者客户端。只有这三个方面都保证可靠性，才能实现消息不重复、不漏掉！本文主要从kafka生产者客户端的角度说明可靠性及其相关配置，关于其他两个方面请关注本专栏！

文章目录

• • 一、消息发送的确认机制

  • 二、消息发送的重试机制

  • • 2.1.什么样的异常是RetriableException？

    • 2.2.重试多次仍然失败怎么办？

    • 2.3.如何避免重试导致的消息重复问题？

通常情况下，我们希望程序向kafka消息队列中发送消息的过程是可靠的，也就是不能出现消息的丢失。但是在某些场景下，实际的需求并不需要消息的高可靠，比如某个网页的点击量数据。在某些异常情况下如果存在少量的数据丢失，也是可以接受的；比如服务器指标的监控数据，在某些异常情况下如果存在少量数据丢失，其实也会产生很大的影响。 在这些场景下其实并不需要kafka保证数据的高可靠性，保证性能和吞吐量可能更加重要。

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成