当前位置:   article > 正文

【kafka消息查询】kafka消费不到数据,写入端伙伴说他写入了,而且没有报错,如何来切割是写入的问题还是消费的问题_kafka消费不到数据也不报错

kafka消费不到数据也不报错


前言

kafka消费不到消息,如何查询界定是生产端的问题还是消费端的问题,特别是场景上下文已经丢失了的时候。


情景再现

使用命令:

 bin/kafka-console-consumer.sh --bootstrap-server 10.10.90.210:9092 --topic stream_manager_center_capture_file
  • 1

在这里插入图片描述
好长时间不消费数据,但是突然某个时间又开始消费了
在这里插入图片描述
写入端伙伴觉得可能是kafka任务太重,但是我们两端(生产和消费)都没有重启服务。
这个时候如何证明是没写进去,还是没消费到呢?

如何确定是否写入了

ref:https://www.python100.com/html/105088.html
在这里插入图片描述
2023-08-07 15:12:27 2023-08-07 15:22:27 这两个时间,就是没有写入量的
在这里插入图片描述
offset 是一个值。肯定在10min内是没有写入的。

为什么出现不能写入

可能得原因?
突然没法消费可能是kafka已经把数据给删了,该topic下面的数据的历史寿命已到

你再新增加数据试试?

说不定就好了。

根据[1]kafka的数据保存时间是:

log.retention.hours=48 ``#数据最多保存48小时

log.retention.bytes=1073741824 ``#数据最多1G

ref:https://blog.csdn.net/qq_42315376/article/details/129241130

总结

kafka参考文档
ref:https://kafka.apache.org/21/documentation.html#design_quotas

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/盐析白兔/article/detail/605625
推荐阅读
相关标签
  

闽ICP备14008679号