当前位置:   article > 正文

kafka初识 之 Topic、Partition、生产者、消费者、Broker、Cluster概念分析_kafka topic partition broker

kafka topic partition broker

kafka消息队列有两种消费模式,分别是点对点模式和订阅/发布模式。具体比较可以参考Kafka基础–消息队列与消费模式。

1. 主题(Topic)与分区(Partition)

  • Topic:消息主题,是消息的逻辑分类,具体分类的方式就是用Topic进行区分,不同类别的消息具有不同的Topic。
  • 每条消息属于且仅属于一个Topic
  • Producer发布数据时,必须指定将该消息发布到哪个Topic
  • Consumer消费消息时,也必须指定消费哪个Topic的信息
  • partition:主题内分区,是物理分类。每一个主题都对应一个「消息队列」,一个 Topic 对应多个 Partition。

partition的目的是:通过多分区实现负载均衡的效果,提高kafka访问吞吐率。

  • 写入数据的规则
  • kafka默认轮询规则
  • producer指定partition key写入特定的partition
  • producer自定义规则

2. 生产者(Producer)与消费者(Consumer)

生产者(也称为发布者)创建消息,而消费者(也称为订阅者)负责消费or读取消息。

3. Broker 和集群(Cluster)

  • 一个 Kafka 服务器也称为 Broker,它接受生产者发送的消息并存入磁盘;Broker 同时服务消费者拉取分区消息的请求,返回目前已经提交的消息。
  • 若干个 Broker 组成一个集群(Cluster),其中集群内某个 Broker 会成为集群控制器(Cluster Controller),它负责管理集群,包括分配分区到 Broker、监控 Broker 故障等。在集群内,一个分区由一个 Broker 负责,这个 Broker 也称为这个分区的 Leader

4. 关于 kafka 一点认知

  • Kafka 的消息是存在于文件系统之上
  • Topic 其实是逻辑上的概念,面相消费者和生产者,物理上存储的其实是 Partition,每一个 Partition 最终对应一个目录,里面存储所有的消息和索引文件。默认情况下,每一个 Topic 在创建时如果不指定 Partition 数量时只会创建 1 个 Partition。比如,创建了一个 Topic 名字为 test ,没有指定 Partition 的数量,那么会默认创建一个 test-0 的文件夹,这里的命名规则是:<topic_name>-<partition_id>。

  • kafka 如何保证可靠性?
    • 对于一个分区来说,它的消息是有序的。如果一个生产者向一个分区先写入消息A,然后写入消息B,那么消费者会先读取消息A再读取消息B。
    • 当消息写入所有in-sync状态的副本后,消息才会认为已提交(committed)。这里的写入有可能只是写入到文件系统的缓存,不一定刷新到磁盘。生产者可以等待不同时机的确认,比如等待分区主副本写入即返回,后者等待所有in-sync状态副本写入才返回。
    • 一旦消息已提交,那么只要有一个副本存活,数据不会丢失。
    • 消费者只能读取到已提交的消息。
声明:本文内容由网友自发贡献,转载请注明出处:【wpsshop】
推荐阅读
相关标签
  

闽ICP备14008679号