Kafka集群部署记录_kafka集群部署记录的日志

4    Kafka集群部署
4.1    部署环境
boco201，192.168.100.201，CentOS8
boco202，192.168.100.201，CentOS8
boco203，192.168.100.201，CentOS8
4.2    软件安装
1、软件下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.6.0/kafka_2.13-2.6.0.tgz
2、解压缩包
tar -zxvf kafka_2.13-2.6.0.tgz -C /opt/kafka-2.6.0
3、创建数据存储目录
mkdir /data/kafka
4、修改配置文件
vi config/server.properties
添加如下内容
broker.id=1【3台服务此处不能重复，分别为1、2、3】
delete.topic.enable=true
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
zookeeper.connect=boco201:2181,boco202:2181,boco203:2181
listeners=PLAINTEXT://boco201:9092【分别为boco201/boco202/boco203】
5、添加环境变量
vi /etc/profile
export KAFKA_HOME=/opt/kafka-2.6.0
export PATH=$PATH:$KAFKA_HOME/bin
6、修改zookeeper.properties
dataDir=/data/zookeeper
4.3    集群启动
kafka-server-start.sh -daemon /opt/kafka-2.6.0/config/server.properties
[root@boco201 logs]# jps
1152 QuorumPeerMain
3042 NameNode
6772 Kafka
6868 Jps
3192 DataNode
2715 NodeManager
[root@boco202 logs]# jps
1105 QuorumPeerMain
6817 Kafka
3051 SecondaryNameNode
6940 Jps
2749 DataNode
2927 NodeManager
2319 ResourceManager
4.4    集群测试
4.4.1    创建TOPIC
[root@boco201 logs]# kafka-topics.sh --zookeeper boco201:2181 --create --replication-factor 1 --partitions 1 --topic kk-boco201
Created topic kk-boco201
[root@boco202 logs]# kafka-topics.sh --zookeeper boco203:2181 --create --replication-factor 1 --partitions 1 --topic kk-boco202
Created topic kk-boco202.
[root@boco203 logs]# kafka-topics.sh --zookeeper boco203:2181 --create --replication-factor 1 --partitions 1 --topic kk-boco203
Created topic kk-boco203.
[root@boco202 logs]# kafka-topics.sh --zookeeper boco202:2181 --create --replication-factor 1 --partitions 1 --topic kk-boco202-1
Created topic kk-boco202-1.
[root@boco202 logs]# kafka-topics.sh --zookeeper boco202:2181 --create --replication-factor 1 --partitions 1 --topic kk-boco201-1
Created topic kk-boco201-1.
[root@boco202 logs]# kafka-topics.sh --zookeeper boco202:2181 --create --replication-factor 1 --partitions 1 --topic kk-boco203-1
Created topic kk-boco203-1.
4.4.2    显示TOPIC
[root@boco201 logs]# kafka-topics.sh --zookeeper boco202:2181 --list
kk-boco201
kk-boco201-1
kk-boco202
kk-boco202-1
kk-boco203
kk-boco203-1
4.4.3    生产消息
kafka-console-producer.sh --broker-list boco201:9092 --topic kk-boco201
4.4.4    消费消息
kafka-console-consumer.sh --bootstrap-server boco203:9092 --topic kk-boco201 --from-beginning
4.4.5    消息样例
[root@boco201 ~]# kafka-console-producer.sh --broker-list boco202:9092 --topic kk-boco201
>message1
>message2
>message3
>message4
[root@boco202 ~]# kafka-console-consumer.sh --bootstrap-server boco203:9092 --topic kk-boco201 --from-beginning
message1
message2
message3
message4
[root@boco203 ~]# kafka-console-consumer.sh --bootstrap-server boco202:9092 --topic kk-boco201 --from-beginning
message1
message2
message3
message4