深入学习Kafka之概念解析_kafka深入学习

0. Kafka是什么

Kafka是一个开源的分布式流处理平台和消息队列系统。

Kafka是一个值得深入学习的开源中间件，其中涉及的概念有很多，今天就来梳理一下，这些概念到底都是什么。

1. 基本概念

1.1 生产者(Producer)

Producers are those client applications that publish (write) events to Kafka

生产者就是那些发布/写事件到Kafka的客户端应用。

1.2 消费者(Consumer)

consumers are those that subscribe to (read and process) these events.

消费者是那些订阅（读和处理）这些事件的应用。

1.3 服务代理节点(Broker)

Kafka is run as a cluster of one or more servers that can span multiple datacenters or cloud regions. Some of these servers form the storage layer, called the brokers.

Kafka以一个或多个服务端组成的集群方式运行，这样可以使其分成多个数据中心或者云区域。一些来自存储层的server被称之为broker。

对于 Kafka 而言， Broker 可以简单地看作一个独立的 Kafka 服务节点或 Kafka服务实例。大多数情况下也可以将 Broker看作一台 Kafka服务器，前提是这 台服务器上只部署了一个 Kafka 实例。一个或多个 Broker 组成了 一个 Kafka 集群 。一般而言， 我们更习惯使用首字母小写的 broker 来表示服务代理节点 。

1.4 控制器(Controller)

在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器( Kafka Controller)，它负责管理整个集群中所有分区和副本的状态。当某个分区的 leader 副本出现故 障时，由控制器负责为该分区选举新的 leader副本。当检测到某个分区的 ISR集合发生变化时， 由控制器负责通知所有 broker更新其元数据信息。

具备控制器身份的broker需要比其他普通的broker多一份职责：

• 1. 监听分区相关变化。
     • a. 分区重新分配。（reassignment）
     • b. ISR集合变更。
     • c. 副本选举。
• 2. 监听主题相关变化。
     • a.topic的增加、删除等。
• 3. 监听broker相关变化。
     • a. broker的增加与减少。
• 4. 启动并管理分区状态机和副本状态机。
• 5. 更新元数据信息。

1.5 主题 Topic

在Kafka中，Topic（主题）是消息发布和订阅的基本单位。它是一个逻辑上的概念，用于组织和分类消息流。一个Topic可以被看作是一个具有相同特性的消息类别或主题。

每个Topic都有一个唯一的名称，用于在Kafka集群中进行标识和访问。生产者（Producers）将消息发布到特定的Topic，而消费者（Consumers）则订阅感兴趣的Topic以消费其中的消息。

Kafka的Topic可以被分成多个分区（Partitions），每个分区都是有序且持久化的消息日志。分区是Topic在物理上的分割，用于实现数据的横向扩展和并行处理。每个分区可以在不同的服务器上进行复制，以提供数据冗余和故障恢复机制。

1.6 分区(Partitions)

在Kafka中，分区（Partitions）是Topic的物理单元，用于水平划分和存储数据。每个Topic可以被分成一个或多个分区，每个分区都是一个有序、不可变的消息日志。
分区leader的选举由控制器负责具体实施。

1.7 副本(replica)

在Kafka中，每个分区都可以配置多个分区副本（Partition Replicas）。分区副本是分布在不同节点上的数据备份，用于提供数据冗余和故障容错。

以下是关于Kafka分区副本的一些关键概念和特性：

• 1.复制机制：每个分区可以配置一个或多个副本。副本之间通过复制机制保持数据的一致性。当生产者发送消息时，它们将被写入主副本（Leader Replica），而主副本会将消息复制到其他副本（Follower Replicas）。
• 2.主副本和从副本：每个分区只有一个主副本，它负责处理所有的读写请求。其他副本是从副本，它们与主副本保持同步，并提供备份数据以供故障恢复。
• 3.数据复制和同步：Kafka使用复制日志（Replication Log）的方式进行数据复制和同步。主副本将消息写入日志，并将日志传输给从副本，从副本按顺序应用这些消息以保持数据的一致性。
• 4.容错和可用性：分区副本提供了故障容错和数据冗余的机制。如果主副本发生故障，Kafka会自动选择一个从副本作为新的主副本，以确保分区的可用性和持续的数据写入。
• 5.负载均衡：分区副本的配置可以实现负载均衡。Kafka会将分区副本尽可能分布在不同的节点上，以平衡数据的读写负载和提供更好的性能。
• 6.ISR（In-Sync Replicas）：ISR是指与主副本保持同步的副本集合。只有在ISR中的副本才能成为新的主副本。如果副本与主副本的同步进度滞后，它将被移出ISR，直到追赶上同步进度。

分区副本在Kafka中是实现高可用性、数据冗余和故障容错的关键机制。它们提供了数据的持久性和可用性保证，以及在节点故障时的自动故障转移。

1.8 Consumer Group（消费者组）

消费者可以组成一个消费者组。每个消费者组可以订阅一个或多个主题，并共享消息的处理负载。Kafka 会将消息广播给消费者组中的所有消费者。

1.9 Offset（偏移量）

偏移量是消息在分区中的唯一标识符。消费者可以通过指定偏移量来读取分区中的消息。Kafka 会跟踪每个消费者在每个分区中的偏移量，并确保消费者可以继续从上次离开的位置读取消息。

1.10 Rebalance

Kafka 的 Rebalance 是指在消费者组中增加或减少消费者时，自动重新分配分区的过程。当消费者加入或离开消费者组时，Kafka 会自动进行 Rebalance 操作，以确保每个消费者在消费者组中处理尽可能相等的负载。
三个触发Rebalance的情况：

• 1.消费者组成熟数量发生变化
• 2.订阅的主题数量发生变化
• 3.订阅的主题的分区数量发生变化

1.11 Coordinator

新版的消费者客户端对此进行了重新设计 ，将全部消费组分成多个子集 ， 每个消费组的子 集在服务端对应一个 GroupCoordinator 对其进行管理，GroupCoordinator是Kafka服务端中用于管理消费组的组件。
而消费者客户端中的 ConsumerCoordinator组件负责与 GroupCoordinator进行交互 。

1.12 LEO(Log end offset)

Leo 是指副本日志的当前末尾偏移量。它表示副本已经成功复制的消息的最高偏移量。所有新的消息都将追加到 Leo 之后。Leo 用于确定要从哪个偏移量开始复制消息。

1.13 HW(High Watermark)

HW 是指副本的高水位标记。它表示副本已经成功应用到消费者的最高偏移量。也就是说，消费者可以确保已经消费并处理了 HW 之前的所有消息。HW 用于跟踪消费者的进度，以及确定哪些消息可以被安全地删除。