当前位置:   article > 正文

【Kafka原理】数据积压问题_kafka消费积压数据

kafka消费积压数据

Kafka消费者消费数据的速度是非常快的,但是如果在处理Kafka消息时,由于外部IO或者网络拥堵会导致Kafka中的数据积压(数据堆积)。如果数据一直积压,会导致数据出来的实时性受到较大影响。

一、原因

1. 数据写入mysql失败

在这里插入图片描述

  • 数据写入到mysql中报错,导致消费分区的offset一直没有提交,造成数据积压严重

2. 网络延迟导致消费失败

  • 通过查看应用程序日志发现,有大量的消费超时失败
  • 当天网络抖动厉害,且Kafka的消费者消费超时配置仅为50ms
  • 将消费超时配置修改为500ms后问题解决

3. 应用程序消费性能不足

二、小结

在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/804143
推荐阅读
相关标签
  

闽ICP备14008679号