分布式消息队列Kafka学习笔记（第一篇）_kafka分布式学习笔记

目录复制

Kafka特性和适用场景

性能

• 高新能、高吞吐
• 内置分区
• 可以实现集群，有容错和数据处理能力
• 消费端通过拉取的方式获取消息
• 所有数据存磁盘，实现持久化

适用场景

• 行为跟踪
• 日志收集

基本组件和概念

• Producer：生产者，消息发送端，采用push方式
• Consumer：消费者，消息接收端，采用pull方式
• Broker：消息提供者，Kafka消息中心，服务代理节点
• Zookeeper：实现
• Topic：逻辑概念，主题
• Partition：存储机制，分区
• Group：消费组
• Replica：副本
• Coordinator：协调器，实质是一个broker
• Offset：偏移量：消息在分区中的位置；位移：对于消费者消费到的位置
• AR：所有副本的总称
• OSR：和leader副本同步滞后过多的副本（不包括leader）
• ISR：和leader副本保持一定程度同步的副本（包括leader）
• HW：High Watermark高水位，标示消费者只能消费之前的消息的消息偏移量
• LEO：Log End Offset，标示当前日志文件的下一条待写入消息的Offset