赞
踩
如何确定broker的id所在的服务器ip
查看broker节点信息可以进入zookeeper客户端中查看:
运行zkCli.sh进入客户端。
输入ls 可以看到相关的节点。 输入 ls /broker/ids 可以看到broker数据
在生产环境中,每台服务器的配置和性能不一致,但是Kafka只会根据自己的代码规则创建对应的分区副本,就会导致个别服务器存储压力较大。所有需要手动调整分区副本的存储。
需求:
创建一个新的topic,4个分区,两个副本,名称为test。将 该topic的所有副本都存储到broker0和broker1两台服务器上。
(1)创建一个新的 topic,名称为 test。
bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --create --partitions 4 --replication-factor 2 --topic test
(2)查看分区副本存储情况。
bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --describe --topic test
(3)创建副本存储计划(所有副本都指定存储在 broker0、broker1 中)。
vim increase-replication-factor.json
输入如下内容:
- {
- "version":1,
- "partitions":[{"topic":"test","partition":0,"replicas":[0,1]},
- {"topic":"test","partition":1,"replicas":[0,1]},
- {"topic":"test","partition":2,"replicas":[1,0]},
- {"topic":"test","partition":3,"replicas":[1,0]}]
- }
(4)执行副本存储计划。
bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.25.129:9092 --reassignment-json-file increase-replication-factor.json --execute
(5)验证副本存储计划。
bin/kafka-reassign-partitions.sh --bootstrap-server 192.168.25.129:9092 --reassignment-json-file increase-replication-factor.json --verify
(6)查看分区副本存储情况。
bin/kafka-topics.sh --bootstrap-server 192.168.25.129:9092 --describe --topic test
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。