Kafka(三) 分区管理_kafka manage partition information

优先副本

• 因为仅有Leader副本对外提供读写服务，Leader副本所在broker的负载显著大于其他broker。所以需要使所有Leader副本尽可能均匀的分布在不同的broker上。
• 优先副本指AR中的第一个副本。理想情况下，优先副本就是该分区的Leader副本。Kafka需要保证优先副本在集群中均匀分布
• Kafka可以通过参数控制是否自动平衡分区。开启自动平衡分区时，Kafka会启动一个定时任务，周期性计算每个broker的不平衡率(非优先副本的Leader个数/分区总数)，是否超过阈值(默认10%)。超过阈值后，会自动执行优先副本选举
• 执行优先副本选举后，所有的优先副本都会成为Leader副本

分区重分配

• 一个broker宕机时，该节点上的Leader分区会转交给其Follower分区；下线一个broker时，为了保证下线之后分区副本分配依然合理，需要把该节点的分区副本迁移到其他可用节点；集群中新加入分区时，如果不进行重分配，仅有新创建的主题才会在新节点上建立分区。所以需要进行分区重分配

分区重分配的流程

• 创建一个包含所有主题的JSON文件
• 根据所有的主题和broker生成一份重分配方案
• 根据该方案执行重分配动作