当前位置:   article > 正文

Kafka分区

kafka分区

一、分区的概念规则

1、每个topic(逻辑名称)由一个或多个分区组成,分区是topic物理上的分组,在创建topic时被指定
2、一个partition只对应一个Broke,一个Broke可以管理多个partition
3、由消息在顺序写入,在同一个分区内的消息是有序的,在不同的分区间,kafka并不保证消息的顺序(所以kafka消息是支持跨分区的)
3.1 同一个主题下,不同分区所包含的内容是不同的,每个消息被添加到分区当中时,会被 分配一个偏移量(Offset),它是消息在分区当中的唯一编号,kafka通过offset来确保分区内的消息是顺序的,offset的顺序并不跨越分区。
3.2 要想保证消息顺序消息,需要将partion数目设为1

二、分区(partition)下的leader和follower(也统称为副本)

2.1 每个partition分区会选一server节点火器作为leader,(0个或多个)server节点做Follower
2.2 每个分区有且仅有一个Leader,leader是负责当前数据读写的partition,有0个或多个follower跟随leader,保持数据同步(数据一致性,体现的是follower只用为副本,不负责读写)
2.3 leader失效,会从follower中重新选举一个新的leader,不是所有的follower 都 可以参加选举,只有状态为“同步

本文内容由网友自发贡献,转载请注明出处:https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/1006773
推荐阅读
相关标签
  

闽ICP备14008679号