windows环境下搭建kafka_kafka3.4版本 window

不同版本的zookeeper, kafka安装和使用存在一定差异
本文安装zookeeper3.7.1, kafka3.2.1
参考了以下文章
https://blog.csdn.net/shanshanzhong123/article/details/124602776 
为使大家在搭建kafka时少走弯路, 特记录写下此文
1
2
3
4
5

1、安装Zookeeper

kafka依赖Zookeeper，在安装kafka之前，需要安装、运行Zookeeper

注意：安装之前确保本地Java环境变量配置成功(作者环境java11)
① 下载Zookeeper地址：https://zookeeper.apache.org/releases.html

② 解压文件
本文解压到 D:\Program\zookeeper

③ 在 D:\Program\zookeeper\apache-zookeeper-3.7.1-bin 内分别，新增两个文件夹，分别命名为dataDir和dataLogDir
④ 进入 E:\zookeeper\zookeeper-3.7.0\conf 文件内，复制zoo_sample.cfg文件，并将新复制的文件命名为zoo.cfg，修改文件zoo.cfg内容

修改如下4处 (没有的项请新增)

dataDir=D:/Program/zookeeper/apache-zookeeper-3.7.1-bin/dataDir
dataLogDir=D:/Program/zookeeper/apache-zookeeper-3.7.1-bin/dataLogDir
admin.serverPort=8765
audit.enable=true
1
2
3
4

⑤ 添加环境变量-系统变量：ZOOKEEPER_HOME: D:\Program\zookeeper\apache-zookeeper-3.7.1-bin

Path：在现有的值后面添加 %ZOOKEEPER_HOME%\bin

⑥ 运行Zookeeper: 打开cmd然后执行zkserver 命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口

2、安装kafka

① 下载kafka地址：http://kafka.apache.org/downloads.html

② 解压文件
本文：解压到 D:\Program\kafka\kafka_2.13-3.2.1

③ 进入D:\Program\kafka\kafka_2.13-3.2.1\config文件内，修改文件server.properties

log.dirs=D:/Program/kafka/kafka_2.13-3.2.1/logs
1

④ 打开命令提示窗口（win+R，输入cmd，进入），进入D:\Program\kafka\kafka_2.13-3.2.1文件内

输入并执行以下命令打开kafka：

.\bin\windows\kafka-server-start.bat .\config\server.properties
1

3、创建topics

① 打开命令提示窗口，进入E:\kafka\kafka_2.13-2.8.0\bin\windows文件内，创建topics

kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test1
1

如果报错内存不足
修改kafka-server-start.bat文件, 内存设置的更小些

② 查看topics，这里只是查看一下是否创建成功，也可以不用查看topic，直接跳过不做此操作

kafka-topics.bat --describe --bootstrap-server localhost:9092 --topic test1
1

4、打开一个producer

打开命令提示窗口，进入D:\Program\kafka\kafka_2.13-3.2.1\bin\windows文件内，打开一个producer

kafka-console-producer.bat --broker-list localhost:9092 --topic test1
1

5、打开一个consumer

打开命令提示窗口，进入D:\Program\kafka\kafka_2.13-3.2.1\bin\windows文件内，打开一个consumer

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test1
1

注意：以上打开的窗口不要关闭，然后就可以在producer控制台窗口输入消息并回车。在消息输入过后，很快consumer窗口就会显示出producer发送的消息。

6、收不到消息，常见情况

① 在consumer没有打开之前，就在producer里面发送了消息

② producer和consumer使用的topic不一致

后记说明:
kafka在3.0版本之后, 很多操作命令不一样.
以上内容于2022年9月15号验证, 全部可以正常使用. 和参考文章有一定区别, 感兴趣的小伙伴可以研究下区别和里面的原理.

命令总结
任意目录下cmd开启zookeeper

zkserver
1

开启kafka

.\bin\windows\kafka-server-start.bat .\config\server.properties
1

生产者

kafka-console-producer.bat --broker-list localhost:9092 --topic test1
1

消费者

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test1
1