赞
踩
前段时间写了Kafka快速入门系列1-8,但苦于知识点非常繁琐,对于很多初级选手来说并不友好,因此博主又根据所学,整理了一份关于Kafka知识点总结,希望对大家的学习有所帮助(✪ω✪)
码字不易,先赞后看!
kafka是一个分布式,分区的,多副本的,多订阅者的消息发布订阅系统。
应用耦合、异步处理、限流削峰、消息驱动的系统。
优点:
可靠性强(分布式-分区-副本)、扩展性强(可伸缩)、性能高(数据读写)、耐用性强(数据持久化)、时效性强。
缺点:
由于是批量发送,数据并非真正的实时。
仅支持统一分区内消息有序,无法实现全局消息有序;
有可能消息重复消费;
依赖zookeeper进行元数据管理。
生产者、kafka集群、消费者、zookeeper
生产者、消费者、StreamAPI、ConnectAPI
每个Topic包含一个或者多个Partition,一个partition当中存在多个segment文件段,每个segment分为两部分,.log文件和.index文件。
Partition = 消费任务的并发度=刚刚好,每个任务读取一个partition数据
Partition > 消费任务的并发度=有部分消费任务读取多个分区的数据
Partition < 消费任务的并发度=有部分消费任务空闲(可以创建多于分区的消费者数量)
分区数越多,同一时间可以有越多的消费者来进行消费,消费数据的速度就会越快,提高消费的性能
数据副本(包含本身)数一般情况下小于等于broker的个数
被复制的分区叫做主副本(Leader),复制出来的叫做从副本(Follower)
主副本负责数据的读写。
从副本只做数据备份,不做数据读写。
ISR是一组与leaders完全同步
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。