Kafka 数据乱序_幂等性且max.in.flight.requests.per.connection小于等于5个怎么

作者：Guff_9hys | 2024-07-17 10:27:07

踩

幂等性且max.in.flight.requests.per.connection小于等于5个怎么解决乱序

每个broker队列最多能缓存5个没有应答的请求：

发送数据1，2，3，4，5。发送到3的时候没有应答成功，要重发，结果4先过来了，就导致乱序。

解决：开启幂等性 max.in.flight.requests.per.connection需要设置小于等于5。

原因说明：因为在kafka1.x以后，启用幂等后，kafka服务端会缓存producer发来的最近5个request的元数据，故无论如何，都可以保证最近5个request的数据都是有序的。按照幂等性的规则：<pid（求 producer id），Partition，SeqNumber>，前面发送1和2的时候，SeqNumber都匹配，发过来我就落盘，结果下一个是4，那么请求4这个数据就得在内存里面放着，不能进行落盘，继续收后面的请求，是5，继续放在内存，直到等到3，就会对这三个数据重新排序，再落盘。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Guff_9hys/article/detail/839412

Kafka 数据乱序_幂等性且max.in.flight.requests.per.connection小于等于5个 怎么

Kafka 数据乱序_幂等性且max.in.flight.requests.per.connection小于等于5个怎么