当前位置:   article > 正文

kafka多个消费者消费一个topic_kafka:一文读懂消费者背后的那点"猫腻"

kafka同一个topic可以被两个消费者消费

e6bb83bdb856dfb15c7343a6508bfe39.png

来自:z小赵

前言

经过前几篇文章的介绍,大致了解了生产者背后的运行原理。消息有生产就得有人去消费,今天我们就来介绍下消费端消费消息背后发生的那点事儿。

文章概览

  1. 消费者与消费组的“父子关系”。
  2. Repartition 触发时机。
  3. 消费者与 ZK 的关系。
  4. 消费端工作流程。
  5. 消费者的三种消费情况。

消费者与消费组的“父子关系”

eb15abb7d30db788c762149ea0be7b2c.png
消费者消费组关系图

Kafka 消费端确保一个 Partition 在一个消费者组内只能被一个消费者消费。这句话改怎么理解呢?

  1. 在同一个消费者组内,一个 Partition 只能被一个消费者消费。
  2. 在同一个消费者组内,所有消费者组合起来必定可以消费一个 Topic 下的所有 Partition。
  3. 在同一个消费组内,一个消费者可以消费多个 Partition 的信息。
  4. 在不同消费者组内,同一个分区可以被多个消费者消费。
  5. 每个消费者组一定会完整消费一个 Topic 下的所有 Partition。

消费组存在的意义

了解了消费者与消费组的关系后,有朋友会比较疑惑消费者组有啥实际存在的意义呢?或者说消费组的作用是什么?

作者对消费组的作用归结了如下两点。

  1. 在实际生产中,对于同一个 Topic,可能有 A、B、C 等 N 个消费方想要消费。比如一份用户点击日志,A
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/541474
推荐阅读
相关标签
  

闽ICP备14008679号