kafka的扩容难点_kafka为什么拓展麻烦

作者：很楠不爱3 | 2024-05-29 16:36:33

踩

kafka为什么拓展麻烦

kafka的扩容【转】

kafka的扩容难点：

1）主要在于增加机器之后，数据需要rebalance到新增的空闲节点，即把partitions迁移到空闲机器上。

kafka提供了bin/kafka-reassign-partitions.sh工具，完成parttition的迁移。

2）kafka的集群的数据量加大，数据rebalance的时间较长。解决办法是把log.retention.hours=1设置一小时（生产参数24小时）。

修改参数之后，重启kakfa节点，kafka会主动purge 1小时之前的log数据。

以下是kafka_0.8.1.1版本kafkka集群扩容操作记录，从16台物理机扩容到24台物理，partition数量由128个增加到192个

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/643158