Kafka 数据丢失与优化_kafka 其中的一个broker 没有数据

作者：从前慢现在也慢 | 2024-08-11 13:00:08

踩

kafka 其中的一个broker 没有数据

Kafka数据丢失与解决方案

首先Kafka是三层模型，即producer、broker、consumer三层，在一般业务场景下，丢失数据主要发生在broker、consumer层。

1、假设此时网络负载很高或者IO非常繁忙导致写入失败，且未设置消息重试发送机制并且没有做限速处理，导致超出了网络带宽限速，这个时候数据就会丢失，相应的解决方案就是：Kakfa一定要配置消息的重试机制，并且重试的时间间隔要稍微长一点；

2、假设在一段时间处理过程中有数据落盘了，但是这个时候磁盘坏掉了，那么这批数据固然就丢失了（特殊情况）；

3、因Kafka是批量消息处理，所以如果在处理过程中数据的长度超过限制，会直接抛出异常MessageSizeTooLargeException异常，从而这批数据中的部分数据很可能会丢失，相应的解

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/964351