爱喝兽奶帝天荒

这个屌丝很懒，什么也没留下！

热门标签

Windows下Kafka集群配置安装_kafka本地链接

作者：爱喝兽奶帝天荒 | 2024-08-19 04:52:10

踩

kafka本地链接

一、zookeeper下载及配置

使用zookeeper之前需要先安装JDK，我选择的版本为免安装的，解压后配置环境变量即可，其中JDK和zookeeper的版本存在兼容问题，这个就不验证了。

下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk12-downloads-5295953.html

选择版本：jdk-12.0.1_windows-x64_bin.zip

添加系统环境变量：

PATH环境变量中添加：

%JAVA_HOME%\bin

%JAVA_HOME%\jre\bin

打开cmd输入如下命令验证JDK环境：

java –version

javac

下载地址：http://mirror.bit.edu.cn/apache/zookeeper/

选择版本：apache-zookeeper-3.5.5-bin.tar.gz

注意是bin文件，src文件是需要自己编译的，直接运行会报错：

找不到或无法加载主类org.apache.zookeeper.server.quorum.QuorumPeerMain

上述错误其实可以拷贝一个zookeeper-3.5.5.jar文件到zookeeper目录下，如果不修改conf\zoo_sample.cfg文件名zoo.cfg还会报错，改了因为是src版本还是会出现下述错误，最后放弃这个版本：

解压复制三份，zookeeper-1、zookeeper-2、zookeeper-3，创建 data 目录存放数据，创建 log 目录存放日志；

在 data 的 zk1、zk2、zk2 目录中分别创建文件 myid，文件内容分别写入 1、2、3（注意myid文件无后缀），否则会有如下错误myid file is missing：

重命名 zookeeper-1/conf 文件下 zoo_sample.cfg => zoo.cfg，修改如下：

# 数据存放目录

dataDir=E:\\cluster_zookeeper\\data\\zk1

# 日志存放目录

dataLogDir=E:\\cluster_zookeeper\\log\\zk1

# 监听端口

clientPort=2181

# 集群配置

# server.x 分别对应myid文件的内容（每个 zoo.cfg 文件都需要添加）

# 2287(通讯端口):3387（选举端口）

server.1=localhost:2287:3387

server.2=localhost:2288:3388

server.3=localhost:2289:3389

zookeeper-2、zookeeper-3 类似 zookeeper-1 进行调整，dataDir、dataLogDir、clientPort 都需要调整：

dataDir=E:\\cluster_zookeeper\\data\\zk2

dataLogDir=E:\\cluster_zookeeper\\log\\zk2

clientPort=2182

server.1=localhost:2287:3387

server.2=localhost:2288:3388

server.3=localhost:2289:3389

dataDir=E:\\cluster_zookeeper\\data\\zk3

dataLogDir=E:\\cluster_zookeeper\\log\\zk3

clientPort=2183

server.1=localhost:2287:3387

server.2=localhost:2288:3388

server.3=localhost:2289:3389

启动 ZooKeeper

分别通过 cmd 进入每个 ZooKeeper 实例的 bin 文件夹，输入命令：

zkServer

二、kafka下载及配置

下载地址：http://kafka.apache.org/downloads.html

选择版本：kafka_2.11-2.3.0.tgz

解压后复制出3份，kafka-1、kafka-2、kafka-3，创建 log 目录存放消息日志；

修改 kafka-1/config 文件夹下的 server.properties ：

# broker 编号，集群内必须唯一

broker.id=1

# host 地址

host.name=127.0.0.1

# 端口

port=9092

# 消息日志存放地址

log.dirs=E:\\cluster_kafka\\log\\k1

# ZooKeeper 地址，多个用,分隔

zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

kafka-2、kafka-3 类似 kafka-1 进行调整

broker.id=2

host.name=127.0.0.1

port=9093

log.dirs=E:\\cluster_kafka\\log\\k2

zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

broker.id=3

host.name=127.0.0.1

port=9094

log.dirs=E:\\cluster_kafka\\log\\k3

zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

启动 Kafka

分别通过 cmd 进入每个 Kafka 实例，输入命令启动

bin\windows\kafka-server-start.bat .\config\server.properties

三、测试

创建 testTopic

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181,localhost:2182,localhost:2183 --replication-factor 1 --partitions 1 --topic testTopic

查看topic列表

.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181,localhost:2182,localhost:2183

生产消息

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092,localhost:9093,localhost:9094 --topic testTopic

消费消息

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092,localhost:9093,localhost:9094 --topic testTopic

创建一个生产者两个消费者，执行结果如下图：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/1000782