kafka基础介绍

一、为什么使用消息队列

1.使用同步的通信方式来解决多个服务之间的通信

同步的通信方式会存在性能和稳定性的问题。

2.使用异步的通信方式

针对于同步的通信方式来说,异步的方式,可以让上游快速成功,极大提高了系统的吞吐量。而且在分布式系统中,通过下游多个服务的
分布式事务的保障,也能保障业务执行之后的最终一致性。

二、消息队列的流派

目前消息队列的中间件选型有很多种:

• rabbitMQ:内部的可玩性(功能性)是非常强的
• rocketMQ:阿里内部一个大神,根据kafka的内部执行原理,手写的一个消息队列中间件。性能是与Kafka相比肩,除此之外,在功D
  能上封装了更多的功能。
• kafka:全球消息处理性能最快的一款MQ
• zeroMQ

这些消息队列中间件有什么区别?

1.有broker

• 重topic:Kafka、RocketMQ、ActiveMQ
  整个broker,依据topic来进行消息的中转。在重topic的消息队列里必然需要topic的存在

• 轻topic:RabbitMQ
  topic只是一种中转模式。

2.无broker

在生产者和消费者之间没有使用broker,例如zeroMQ,直接使用socket进行通信。

三、Kafka的基本知识

1.Kafka的安装

• 部署一台zookeeper服务器
• 安装jdk
• 下载kafka的安装包:http://kafka.apache.org/downloads
• 上传到kafka服务器上:/usr/local/kafka
• 解压缩压缩包
• 进入到config目录内,修改server.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.65.60:9092
#kafka的消息存储文件
log.dir=/usr/local/data/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect=192.168.65.60:2181
1
2
3
4
5
6
7
8

进入到bin目录内,执行以下命令来启动kafka服务器(带着配置文件)

./kafka-server-start.sh -daemon ../config/server.properties
1

校验kafka是否启动成功:
进入到zk内查看是否有kafka的节点:/brokers/ids/0