当前位置:   article > 正文

kafka集群之kraft模式部署_windows环境搭建kafka的kraft集群

windows环境搭建kafka的kraft集群

一、了解kraft

	Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer,以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。
	目前,Kafka在使用的过程当中,会出现一些问题。由于重度依赖Zookeeper集群,当Zookeeper集群性能发生抖动时,Kafka的性能也会收到很大的影响。因此,在Kafka发展的过程当中,为了解决这个问题,kafka3.x开始提供KRaft模式,来取消Kafka对Zookeeper的依赖。
	那么,kraft模式的优势又有哪些呢?
	1、更简单的部署和管理——通过只安装和管理一个应用程序,Kafka 现在的运营足迹要小得多。这也使得在边缘的小型设备中更容易利用 Kafka;
	2、提高可扩展性——KRaft 的恢复时间比 ZooKeeper 快一个数量级。这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万;
	3、更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

二、安装部署kraft模式的kafka集群

1、下载安装包

	在kafka官网下载对应版本的二进制安装包,这边下载的是3.3.1,如下图所示[kafka下载地址](https://kafka.apache.org/downloads)
	![下载界面](https://img-blog.csdnimg.cn/53f6bb15789147119c1b63b77c2a3492.png)
	下载后上传至服务器即可。
  • 1
  • 2
  • 3

2、部署配置

2.1 解压缩
tar -zxvf kafka_2.12-3.3.1.tgz -C /home/
  • 1
2.2 修改配置文件
mv /home/kafka_2.12-3.3.1 /home/kafka
chown zondy:zondy -R /home/kafka
cd /home/kafka/
mkdir data
vim /home/kafka/config/kraftserver.properties
  • 1
  • 2
  • 3
  • 4
  • 5

这里初步要修改的地方有以下参数,生产环境还需要根据实际需要调整其他参数以满足生产需求。

#对应节点的id,这里三台节点,分别为1,2,3
node.id=1
#集群选举控制器配置
controller.quorum.voters=1@172.17.9.191:9093,2@172.17.9.192:9093,3@172.17.9.193:9093
#监听服务ip端口设置
advertised.listeners=PLAINTEXT://172.17.9.191:9092
#设置日志文件存储路径
log.dirs=/home/kafka/data
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
2.3 分发kafka
scp -r /home/kafka zondy@172.17.9.192:/home
scp -r /home/kafka zondy@172.17.9.193:/home
  • 1
  • 2
2.4 修改其他两个节点的配置

节点2

#对应节点的id,这里三台节点,分别为1,2,3
node.id=2
advertised.listeners=PLAINTEXT://172.17.9.192:9092
  • 1
  • 2
  • 3

节点3

#对应节点的id,这里三台节点,分别为1,2,3
node.id=3
advertised.listeners=PLAINTEXT://172.17.9.193:9092
  • 1
  • 2
  • 3
2.5 生成集群ID

整个集群有一个唯一的ID标志,使用uuid。可使用官方提供的 kafka-storage 工具生成,亦可以自己去用其他生成uuid。

/home/kafka/bin/kafka-storage.sh random-uuid
  • 1

生成ID:fu_Rqt_4SxeMK46nDRSJNA

2.6 格式化存储路径
/home/kafka/bin/kafka-storage.sh format -t fu_Rqt_4SxeMK46nDRSJNA -c /home/kafka/config/kraft/server.properties
  • 1
2.7 启功节点服务

在每个节点上启动 Kafka 服务器。

bin/kafka-server-start.sh -daemon ./config/kraft/server.properties
  • 1

可通过jps查看kafka进程是否已经运行。

2.8 验证及测试

创建topic

bin/kafka-topics.sh --create --topic First_Kafka_Topic --partitions 1 --replication-factor 3 --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092
  • 1

查看topic列表

bin/kafka-topics.sh --list --bootstrap-server 172.17.9.191:9092,172.17.9.192:9092,172.17.9.193:9092
  • 1

至此,Kafka的集群基本安装完成,后续根据生产环境进行参数调优。

3、集群启停脚本

为了方便集群启停操作,这边写了kafka集群启停脚本。

cd /usr/bin
vim kfk.sh
  • 1
  • 2
#!/bin/bash
#kafka集群启动脚本
case $1 in
 "start"){
    for i in 172.17.9.191 172.17.9.192 172.17.9.193
    do
       echo "--------启动 $i kafka with kraft-------"
       ssh $i "/home/kafka/bin/kafka-server-start.sh -daemon /home/kafka/config/kraft/server.properties"
    done
};;
"stop"){
    for i in 172.17.9.191 172.17.9.192 172.17.9.193
    do
       echo "------停止 $i kafka--------"
       ssh $i "/home/kafka/bin/kafka-server-stop.sh"
    done
};;
esac
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
chmod 777 kfk.sh
  • 1
启动命令:kfk.sh start
停止命令:kfk.sh stop
  • 1
  • 2
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小丑西瓜9/article/detail/690433
推荐阅读
相关标签
  

闽ICP备14008679号