kafka排除zookeeper使用kraft的最新部署方案_kafka最新不使用zookeeper的版本

kafka在新版本中已经可以不使用zookeeper进行服务部署，排除zookeeper的部署方案可以节省一些服务资源，这里使用 kafka_2.13-3.6.1.tgz 版本进行服务部署。

测试部署分为三个服务器：

1. 将下载的安装包分别上传到三个服务器并解压安装包：

[root@localhost ~]# tar -zvxf kafka_2.13-3.6.1.tgz
[root@localhost ~]# cd kafka_2.13-3.6.1
[root@localhost kafka_2.13-3.6.1]# pwd
/root/kafka_2.13-3.6.1
[root@localhost kafka_2.13-3.6.1]# ls
bin  config  libs  LICENSE  licenses  NOTICE  site-docs
[root@localhost kafka_2.13-3.6.1]# 
1
2
3
4
5
6
7

2. 修改配置文件，这里需要在三个服务器上面分别进行修改，需要调整修改几个地方如下：

[root@localhost kafka_2.13-3.6.1]# vim ./config/kraft/server.properties

# 设置角色对应的节点ID，节点ID在集群内不能重复
node.id=1
# kraft中集群节点是有角色划分的，分为broker和controller，测试环境就不去做区分，所有节点都有两种角色
process.roles=broker,controller
# 指定controller仲裁节点列表
controller.quorum.voters=1@192.168.56.101:9093,2@192.168.56.102:9093,3@192.168.56.103:9093
# 指定数据存储目录
log.dirs=/root/kafka_2.13-3.6.1/datas
# 服务监听地址
listeners=PLAINTEXT://192.168.56.101:9092,CONTROLLER://192.168.56.101:9093
# 对外提供服务的地址和端口号，如果不设置将使用listeners配置的地址
advertised.listeners=PLAINTEXT://192.168.56.101:9092
1
2
3
4
5
6
7
8
9
10
11
12
13
14

完成上面的配置后，就可以进行服务器的启动了，首次启动服务器步骤如下：

1. 生成集群ID，集群id生成使用下面的命令，这个命令只需要在一台服务器上面执行即可，记录生成的这个ID：

[root@localhost kafka_2.13-3.6.1]# ./bin/kafka-storage.sh random-uuid
nJID7Q7dT62E_ehtbO3RaA
1
2

2. 分别在几台服务器上面使用集群ID格式化目录：

[root@localhost kafka_2.13-3.6.1]# ./bin/kafka-storage.sh format -t nJID7Q7dT62E_ehtbO3RaA -c ./config/kraft/server.properties
Formatting /root/kafka_2.13-3.6.1/datas with metadata.version 3.6-IV2.
1
2

上面命令执行完成后，配置的数据目录将会生成两个文件，其中 bootstrap.checkpoint 是一个二进制文件，meta.properties 是元数据文件：

[root@localhost kafka_2.13-3.6.1]# ls datas/
bootstrap.checkpoint  meta.properties
[root@localhost kafka_2.13-3.6.1]# 
[root@localhost kafka_2.13-3.6.1]# cat datas/meta.properties 
#
#Sat Feb 03 17:26:43 CST 2024
cluster.id=nJID7Q7dT62E_ehtbO3RaA
node.id=1
version=1
1
2
3
4
5
6
7
8
9

3. 数据目录格式化完成后就可以启动服务，在启动服务时需要指定配置文件，同时可以通过参数来决定是前台启动服务还是后台启动：

# 后台启动：
$ ./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties
# 前台启动：
$ ./bin/kafka-server-start.sh ./config/kraft/server.properties
1
2
3
4

完成上面这些一个kafka集群就已经搭建成功了，不使用zookeeper使得服务搭建非常简单，目前这个版本还支持使用zookeeper方式的安装。

# 启动zookeeper服务
$ bin/zookeeper-server-start.sh config/zookeeper.properties

# 启动kafka服务
$ bin/kafka-server-start.sh config/server.properties
1
2
3
4
5

但还是建议使用kraft方式启动，毕竟可以省去zookeeper服务的维护，节省一部分资源。

# 以下所有命令都是以test-topic主题为示例，test-group消费者组为示例

# 1. 创建主题：(test-topic 主题名；replication-factor 副本数量，副本是包含leader的，如果某个topic有副本，该值至少要配置为2)
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --create --topic test-topic --partitions 3 --replication-factor 2

# 2. 查看主题：
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --describe --topic test-topic

# 3. 删除主题：
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --delete --topic test-topic

# 4. 列出主题列表
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 --list

# 5. 调整分区数量
$ ./bin/kafka-topics.sh --bootstrap-server 192.168.56.101:9092 -alter --partitions 4 --topic test-topic

# 6. 查看消费者组信息
$ ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092 --list

# 7. 查看某个消费者组消费情况
$ ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092 --group test-group --describe

# 8. 在控制台向某个主题写入数据：
$ ./bin/kafka-console-producer.sh --broker-list 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --topic test-topic

# 9. 在控制台消费某个主题数据
$ ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --topic test-topic

# 10. 指定消费10条数据
$ ./bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.101:9092 --topic test-topic --max-messages 10

# 在控制台消费数据时还可以添加参数：
# 最早数据开始消费：--from beginning
# 删除offsets并重新开始消费：--delete-consumer-offsets --from beginning
# 指定消费者组相关信息：--consumer.config ./config/consumer.properties


------
# 下面这些是不怎么常用的命令，没有验证过作为记录供参考：

# 更改主题配置信息：
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092 --entity-type topics --entity-name test-topic --alter --add-config max.message.bytes=128000


# 查看主题配置信息：
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092 --entity-type topics --entity-name test-topic --describe


# 删除配置：
./bin/kafka-configs.sh --bootstrap-server 192.168.56.101:9092  --entity-type topics --entity-name test-topic --alter --delete-config max.message.bytes

# 将test topic的消费组的0分区的偏移量设置为最新
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic:0 --reset-offsets --to-earliest –execute


# 将test topic的消费组的0和1分区的偏移量设置为最旧
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic:0,1 --reset-offsets --to-latest –execute

# 将test topic的消费组的所有分区的偏移量设置为1000
./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.56.101:9092,192.168.56.102:9092,192.168.56.103:9092 --group test-group --topic test-topic --reset-offsets --to-offset 1 –execute

# --reset-offsets后可以跟的其他用法：--to-current：把位移调整到分区当前位移
# --reset-offsets后可以跟的其他用法：--shift-by N： 把位移调整到当前位移 + N处，注意N可以是负数，表示向前移动
# --reset-offsets后可以跟的其他用法：--to-datetime <datetime>：把位移调整到大于给定时间的最早位移处，datetime格式是yyyy-MM-ddTHH:mm:ss.xxx，比如2017-08-04T00:00:00.000
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65