kafka基础概念二

1.Kafka中主题和分区的概念

1.主题Topic

主题-topic在kafka中是一个逻辑的概念，kafka通过topic将消息进行分类。不同的topic会被订阅该topic的消费者消费

但是有一个问题，如果说这个topic中的消息非常非常多，多到需要几T来存，因为消息是会被保存到10g日志文件中的。为了解决这个文件过大的问题，kafka提出了Partition分区的概念

2.分区Partition

1）分区的概念

通过partition将一个topic中的消息分区来存储。这样的好处有多个:

• 分区存储，可以解决统一存储文件过大的问题
• 提供了读写的吞吐量:读和写可以同时在多个分区中进行
  

2）创建多分区的主题

[root@k8s-master bin]# kafka-topics.sh --create --bootstrap-server 10.0.8.2:9092 --replication-factor 1 --partitions 2 --topic test1
1

分区的作用:

• 可以分布式存储
• 可以并行写

实际上是存在data/kafka-logs/test-0 和 test-1中的0000000.log文件中,且消费者定期将自己消费分区的ofset提交给kafka内部 topic

小细节:

• 00000.og:这个文件中保存的就是消息
• __consumer_offsets-49:
  kafka内部自己创建了_consumer_offsets主题包含了50个分区。这个主题用来存放消费者消费某个主题的偏移量。因为每个消费者都会自己维护着消费的主题的偏移量，也就是说每个消费者会把消费的主题的偏移量自主上报给kafka中的默认主题:__consumer_offsets。因此kafka为了提升这个主题的并发性，默认设置了50个分区。
  提交到哪个分区:通过hash函数:hash(consumerGroupld)%consumer offsets主题的分区数。提交到该主题中的内容是:key是consumerGroupld+topic+分区号，value就是当前offset的值
• 文件中保存的消息，默认保存7天。七天到后消息会被删除。

2.kafka集群操作

kafka集群搭建之前博客有介绍，且部署文档百度搜索很多，不过多赘述；

1.搭建kafka集群(三个broker)

创建三个server.properties文件.
#0 1 2
broker.id=2
// 9092 9093 9094
listenerS=PLAINTEXT://192.168.65.60:9094//kafka-logs kafka-logs-l kafka-logs-2log.dir=/usr/local/data/kafka-logs-2
通过命令来启动三台broker.
/kafka-server-start.sh-daemon  ../config/server.properties
/kafka-server-start.sh-daemon  ../config/serverl.properties 
./kafka-server-start.sh-daemon  ../config/server2.properties

校验是否启动成功
进入到zk中查看/brokers/ids中过是否有三个znode(0，1，2)
1
2
3
4
5
6
7
8
9
10
11
12

2. 副本的概念

在创建主题时，除了指明了主题的分区数以外，还指明了副本数，那么副本是一个什么概念呢?
副本是为了为主题中的分区创建多个备份，多个副本在kafka集群的多个broker中，会有一个副本作为leader，其他是follower。

• leader:
  kafka的写和读的操作，都发生在leader上。leader负责把数据同步给folower。当leader挂了，经过主从选举，从多个follower中选举产生一个新的leader
• follower
  接收leader的同步的数据
• isr:
  可以同步和已同步的节点会被存入到isr集合中。这里有一个细节:如果isr中的节点性能较差，会被提出isr集合

此时，broker、主题、分区、副本 这些概念就全部展现了;
集群中有多个broker，创建主题时可以指明主题有多个分区(把消息拆分到不同的分区中存储)，可以为分区创建多个副本，不同的副本存放在不同的broker里。

3.关于集群消费

• 向集群发送消息:

kafka-console-consumer.sh--bootstrap-server 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 --from-beginning --consumer-property group.id=testGroupl --topic my-replicated-topic
1

• 从集群中消费消息

kafka-console-producer.sh--broker-list 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 --topicmy-replicated-topic
1

• 指定消费组来消费消息

kafka-console-consumer.sh --bootstrap-server 172.16.253.38:9092,172.16.253.38:9093,172.16.253.38:9094 --from-beginning  --consumer-property group.id=testGroup1 --topicmy-replicated-topic
1

分区分消费组的集群消费中的细节

• 一个partition只能被一个消费组中的一个消费者消费，目的是为了保证消费的顺序性，但是多个partion的多个消费者消费的总的顺序性是得不到保证的，那怎么做到消费的总顺序性呢?
• partition的数量决定了消费组中消费者的数量，建议同一个消费组中消费者的数量不要超过partition的数量，否则多的消费者消费不到消息
• 如果消费者挂了，那么会触发rebalance机制(后面介绍)，会让其他消费者来消费该分区