Kafka主题，分区，副本介绍_kafka的分区和副本

Kafka主题，分区，副本介绍

介绍

今天分享一下kafka的主题(topic)，分区(partition)和副本(replication)，主题是Kafka中很重要的部分，消息的生产和消费都要以主题为基础，一个主题可以对应多个分区，一个分区属于某个主题，一个分区又可以对应多个副本，副本分为leader和follower。

副本的作用是保证数据的高可用，一个副本在一个broker节点上，broker就是一个台机器或者一个kafka实例，当某个副本出现故障后，还可以使用其他副本的数据，如果只有一个副本，那么就无法保证高可用。

主题，分区实际上只是逻辑概念，真正消息存储的地方是副本的日志文件上，所以主题分区的作用是在逻辑上更加规范的管理日志文件。

主题，分区，副本关系如图所示：

创建主题分区

可以使用kafka-topics.sh创建topic，也可以使用Kafka AdminClient创建，当我们往Kafka发送消息的时候，如果指定的topic不存在，那么就会创建一个分区数为1的topic，不过这样做并不合适，我们应该规划好主题的分区，副本，然后在创建topic，这样对管理topic更加好。

kafka broker端默认设置了allow.auto.create.topics=t