赞
踩
扩容:增加机器,例如原来三台服务器的kafka集群增加两台机器成为有五台机器的kafka集群,跟搭建差不多
分区重新分配:在原来机器上的主题分区不会自动均衡到新的机器,需要使用分区重新分配工具来均衡均衡
重新分配官方文档地址:点击打开链接
翻译官方文档中文地址:点击打开链接
上面两个链接中的文档描述的很详细。这里记录一下关键步骤,更主要是总结实际操作过来之后的问题和新的知识理解
主要步骤
1、确定要重启分配分区的主题,新建topics-to-move.json json文件
- {
- "topics": [
- {"topic": "foo1"},
- {"topic": "foo2"}
- ],
- "version":1
- }
- // foo1 foo2 为要重新分配的主题
2、使用 bin/kafka-reassign-partitions.sh重新分配工具生成分配规则的json语句分配到 5,6机器
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --topics-to-move-json-file topics-to-move.json --broker-list "5,6" –generate
3、有分配规则的json语句输出到控制台,复制到新建的json文件expand-cluster-reassignment.json中,例如:
- {"version":1,
- "partitions":[{"topic":"foo1","partition":0,"replicas":[5,6]},
- {"topic":"foo1","partition":1,"replicas":[5,6]},
- {"topic":"foo1","partition":2,"replicas":[5,6]},
- {"topic":"foo2","partition":0,"replicas":[5,6]},
- {"topic":"foo2","partition":1,"replicas":[5,6]},
- {"topic":"foo2","partition":2,"replicas":[5,6]}]
- }
-
- //描述分配之后分区的分布情况
4、执行命令,开始分区重新分配
bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json –execute
5、验证是否完成
- bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file expand-cluster-reassignment.json –verify
- //当输出全部都是completed successfully表明移动已经完成.
1、可以不需要第一步和第二步,自己手动新建分配的json文件。
2、主题量很多的是就不要一个一个复制粘贴了,用excel的拼接函数,还是很方便
3、最后一步验证中,主题很多的时候,会有很多在为未完成的输出语句夹杂其中。在语句后面加上 | grep -c "progress"就知 道有多少分区还没完成,输出为0的时候就是完成了。
总结和知识点理解
1、kafka新建主题时的分区分配策略:随机选取第一个分区节点,然后往后依次增加。例如第一个分区选取为1,第二个分区就 是2,第三个分区就是3. 1,2,3是brokerid。不会负载均衡,所以要手动重新分配分区操作,尽量均衡。
2、在生产的同时进行数据迁移会出现重复数据。所以迁移的时候避免重复生产数据,应该停止迁移主题的生产。同时消费不 会,同时消费之后出现短暂的leader报错,会自动恢复。
3、新增了broker节点,如果有主题的分区在新增加的节点上,生产和消费的客户端都应该在hosts配置文件中增加新增的 broker节点,否则无法生产消费,但是也不报错。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。