【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)_kafka 生产问题排查思路

• • 情景演示

• 2. TargetBroker在开始迁移过程中宕机，导致迁移任务一直在进行中

• • 情景演示

• 解决方法

• 3. 被迁移副本没有找到Leader,导致TargetReplica一直不能同步副本

• • 情景演示

• 解决方案

• 4. 限流导致重分配一直完成不了

• • 情景演示

• 解决方案

• 5. 数据量太大,同步的贼慢

• • 解决方案

• 排查问题思路

• • 1. 先看/admin/reassign_partitions里面的数据

• 2. 再看brokers/topics/{TopicName}/partitions/{分区号}/state数据

• 3. 根据步骤2确定对应的Broker是否异常

• 4.查询限流大小

• 5. 重新执行重分配任务(停止之前的任务)

• • 情景演示

• 解决方案

• 排查工具+思考

• 现实案例分析

• • More

日常运维

问题排查

怎么能够少了滴滴开源的

滴滴开源LogiKM一站式Kafka监控与管控平台

【kakfa实战】分区重分配经常出现的问题及解决方案

这篇文章源自于,一位群友的问题,然后就写下了这篇文章

进群加V :jjdlmn_

先定义一下名词: 迁移前的Broker： OriginBroker 、 迁移后的副本 TargetBroker

前提

==================================================================

在这之前如果你比较了解 分区重分配的原理 的话,下面的可能更好理解;

推荐你阅读一下下面几篇文章(如果你点不进去说明我还没有发布)

【kafka源码】ReassignPartitionsCommand源码分析(副本扩缩、数据迁移、副本重分配、副本跨路径迁移)

【kafka运维】副本扩缩容、数据迁移、副本重分配、副本跨路径迁移

Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)

如果你不想费那个精力,那直接看下面我画的这张图,你自己也能分析出来可能出现的问题;以及怎么排查

所有异常情况

======================================================================

1. TargetBroker若不在线,迁移脚本执行会失败

TargetBroker若不在线, 在开始执行任务脚本的时候，校验都不会被通过呢

情景演示

| BrokerId | 角色 | 状态 | 副本 |<