当前位置:   article > 正文

kafka 数据是否消费_kafka消息没有被消费

kafka消息没有被消费

Windows 监控  
    jconsole 查看kafka.consumer---->consumer-fetch-manager-metrics--->attributes 
        records-lag-max:71456
        records-lead-min:54
    监控到Lag 越来越大,说明消费者程序边的越来越慢,至少追不上生产者的速度
    监控Lead 越来越小,甚至接近0 ,这预示着消费端要丢数据(因为只保存七天的数据,说明消息已经接近7天未被消费了)
Linux 监控 
    kafka-consumer-groups.sh --bootstrap-server node1:9092 --describe --group mylcy
    可以看到当前的消费进度(CURRENT-OFFSET)、消息进度(LOG-END-OFFSET)【有多少数据】、落后量(LAG)

  1. ./kafka-consumer-groups.sh --bootstrap-server 10.20.73.191:9092 --describe --group kafka-test-group
  2. GROUP            TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                      HOST            CLIENT-ID
  3. kafka-test-group demo_kafka_2    0          0               0               0               consumer-kafka-test-group-1-9de6fbde-2718-4db1-80d9-93db67113f9d /10.20.73.191   consumer-kafka-test-group-1
  4. kafka-test-group SXMData         0          20000           0               -20000          consumer-kafka-test-group-2-e0410f7d-7d4a-4ee0-a4c6-d39905f296bd /10.20.73.191   consumer-kafka-test-group-2
  5. kafka-test-group SXMData_2       0          20              20              0               consumer-kafka-test-group-2-77d9d098-71da-419b-9ebc-02e0346e5689 /10.20.17.160   consumer-kafka-test-group-2

往kafka中塞值:

 kafka-console-producer.sh --bootstrap-list localhost:9092 --topic MBWSdata

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/605573
推荐阅读
相关标签
  

闽ICP备14008679号