Kafka 客户端 Consumer 常用配置_kafka consumer常用配置

分类

• 消费者组（consume grou）
• 独立消费者（standalone consume）

介绍：

一个消费者组可以包含多个消费者，对于主题中的消息同一个消费者组的每个消费者消费一部分。也就是说，所有的消费者消费的消息合在一起才是一个主题的完整消息。这种消费者和消费者组的设计可以让整体的消费能力具有横向伸缩性，比如在主题消息量非常大的情况下，单个消费者处理该主题会非常吃力，可以增加更多的消费者，让它们分担负载，每个消费者只处理部分消息，这样就可以提高整体的消费能力。

对于多个消费者组订阅同一个主题，每个消费者组之间是互不影响的。如有消费者组A和消费者组B，同时订阅了一个主题TopicA，在 Kafka 中消费者组A会获取到 TopicA 中的所有消息，消费者B也会获取到 TopicA 的所有消息。由此可以知道每个消费者组是相互独立的，消费者组之间不会互相影响。

Kafka 是同时支持点对点模式的和发布/订阅模式两种模式，这些都是通过消费者和消费者组来实现的：

• 如果所有的消费者都在同一个消费者组，那么每个消息只会被一个消费者处理，这就相当于点对点模式的应用
• 如果所有的消费者不再同一个消费者组，那么所有的消息都会被广播给所有的消费者，这就相当于发布/订阅模式
• 消费者组是一个逻辑上的概念，它将属于它的消费者归为一类，每个消费者只属于一个消费组。每个消费者组都会有一个固定的名称 group.id ，消费者在进行消费之前需要指定其所属消费者组的名称，这个通过消费者客户端参数 group.id 来配置。

客户端位移（offset）:consumer定期向kafka集群发送自己数据消费进度，这一过程称之位移提交。

消费者组重平衡（consumer group rebalance）：只针对于consumer group 有效，消费者组中各个消费者对于订阅主题的分区分配过程。

配置

KafkaConsume 非线程安全