kafka2.7集群搭建_kafka 2.7

一、下载地址：
https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz

https://dlcdn.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz
注意：需要Java 8+ 环境

二、zookeeper集群搭建

1、创建数据⽬录和⽇志⽬录

## 在/data⽬录下创建zookeeper数据⽬录和⽇志⽬录
sudo mkdir -p /data/zookeeper/{data,log}

2、创建编写myid

## 在 /data/zookeeper/data 下创建⽂件myid，写⼊当前zookeeper id，设置⼀个唯⼀的整数，如0、1、2
cd /data/zookeeper/data
sudo touch myid
## 编辑后保存退出
sudo vi /data/zookeeper/data/myid
id分别设置为：1, 2, 3

3、拷贝zoo_sample.cfg为 zoo.cfg(zk默认启动文件),并修改

# 心跳时间， 单位为 ms
tickTime=2000
＃投票选举新 leader 的初始化时间
initLimit=10
# leader与foller心跳检测最大容忍时间，响应超过 syncLimit*tickTime , leader 认为
# follower“死掉”，从服务器列表中删除follower
syncLimit=5
＃数据目录
dataDir=/data/zookeeper/data
＃ 日志目录
dataLogDir=/data/zookeeper/log
# ZooKeeper 对外服务端口
clientPort=2181

server.1=192.168.0.176:2888:3888
server.2=192.168.0.177:2888:3888
server.3=192.168.0.178:2888:3888
 

4、启动zookeeper

cd /data/kafka_2.13-2.7.0

./zkServer.sh start  ../conf/zoo.cfg

./zkServer.sh status

#进入zk客户端

./zkCli.sh --server localhost:2181

三、kafka集群搭建

1、创建数据⽬录

mkdir -p /data/kafka-logs

2、编辑修改各个kafka配置⽂件

vim /data/kafka_2.13-2.7.0/config/server.properties
##修改kafka配置⽂件参数
## broker的编号，如果集群中有多个broker ，则每个broker的编号需要设置的不同
broker.id=1
## broker 提供服务的⼊⼝地址，配置内⽹ip，不能配置localhost，177的就写177，178就写178
listeners=PLAINTEXT://192.168.0.177:9092

## broker 服务⼊⼝地址，配置外⽹ip，不配置时默认和listeners相同
#advertised.listeners=PLAINTEXT://192.168.0.177:9092
## log⽇志存储位置
log.dirs=/data/kafka-logs
#默认topic分区数
num.partitions=3
##zookeeper集群配置
zookeeper.connect=192.168.0.177:2181,192.168.0.178:2181,192.168.0.179:2181

3、启动集群 

# 各个node启动kafka

./kafka-server-start.sh -daemon ../config/server.properties

四、验证及命令

## 创建⼀个topic
$ bin/kafka-topics.sh --create --topic mytesttopic --bootstrap-server 192.168.0.176:9092
 
## 查看topic
$ bin/kafka-topics.sh --describe --topic mytesttopic --bootstrap-server 192.168.1.224:9092
Topic: quickstart-events Partition: 0 Leader: 1
Replicas: 1 Isr: 1
Topic: quickstart-events Partition: 1 Leader: 2
Replicas: 2 Isr: 2
Topic: quickstart-events Partition: 2 Leader: 3
Replicas: 3 Isr: 3
 
## 起⼀个⽣产者终端
$ bin/kafka-console-producer.sh --topic mytesttopic --bootstrap-server 192.168.1.225:9092
 
## 起⼀个消费者终端
$ bin/kafka-console-consumer.sh --topic mytesttopic --from-beginning --bootstrap-server 192.168.1.226:9092
 
 
 
 
 
## 查看消费者组列表
./kafka-consumer-groups.sh --bootstrap-server 172.21.0.34:9092 --list
 
## 查看 kafka 中某一个消费者组的消费情况：
./bin/kafka-consumer-groups.sh --bootstrap-server 172.21.0.34:9092 --group mvs-consumer-group --describe
 
 
##查看所有topic
./kafka-topics.sh --bootstrap-server 172.21.0.24:19092 --list
 
## 查看topic状态：
./kafka-topics.sh --bootstrap-server 172.21.0.24:9092 --describe --topic swcs_prod_axis_upload