15-kafka数据重复_kafka的重试机制会导致重复生产吗

作者：你好赵伟 | 2024-02-21 17:50:10

踩

kafka的重试机制会导致重复生产吗

题目：kafka数据重复如何解决

答案：

重复是指发生重试造成的重复
解决kafka数据重复：幂等性 + ack-1 + 事务
（1）设置ack应答级别为-1，分区副本个数大于等于2，ISR应答队列中的最小副本数量大于等于2
（2）开启幂等性
（3）开启事务
（4）如果还存在重复，那就在kafka传送的目的地进行去重：spark、redis或者hive等
注意：事务和幂等性是在kafka0.11版本之后才有，企业常用0.10版本，故可以采用第（1）（4）点进行去重

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】