CentOS7.3通过Docker安装部署Kafka_centos7 docker安装kafka

环境

VBox下的CentOS7.3
Kafka版本：kafka_2.12-2.1.0
Kafka下载地址
Kafka可视化界面CMAK（原Kafka-Manager）
Kafka-Tool

安装

首先运行Kafka的服务器需要有Java环境，这里不做介绍，我配置的Java8。
然后Kafka需要zookeeper依赖，我这里用docker运行了三个zookeeper节点，2181,2182,2183三个端口，记得开发防火墙，我这里的zk是在另一台虚拟机上运行的。

将下载好的kafka压缩包上传到服务器，并解压

tar zxvf kafka_2.12-2.1.0.tgz
1

修改配置config文件夹下kafka的配置文件

vi server.properties
1

broker.id=0
port=9092
host.name=192.168.3.29
advertised.host.name=192.168.3.29
log.dirs=/usr/local/kafka_2.12/kafka-logs
num.partitions=2
zookeeper.connect=192.168.3.30:2181,192.168.3.30:2182,192.168.3.30:2183
1
2
3
4
5
6
7

启动kafka

/usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &
1

常规操作命令

## 简单操作：
# 创建topic主题命令：（创建名为test的topic， 1个分区分别存放数据，数据备份总共1份）
kafka-topics.sh --zookeeper 192.168.3.30:2181 --create --topic topic1 --partitions 1 --replication-f
## --zookeeper 为zk服务列表
## --create 命令后 --topic 为创建topic 并指定 topic name
## --partitions 为指定分区数量
## --replication-factor 为指定副本集数量
# 查看topic列表命令：
kafka-topics.sh --zookeeper 192.168.3.30:2181 --list
# kafka命令发送数据：（然后我们就可以编写数据发送出去了）
kafka-console-producer.sh --broker-list 192.168.3.29:9092 --topic topic1
# kafka命令接受数据：（然后我们就可以看到消费的信息了）
kafka-console-consumer.sh --bootstrap-server 192.168.3.29:9092 --topic topic1 --from-beginning
# 删除topic命令：
kafka-topics.sh --zookeeper 192.168.3.30:2181 --delete --topic topic1
# kafka查看消费进度：（当我们需要查看一个消费者组的消费进度时，则使用下面的命令）
kafka-consumer-groups.sh --bootstrap-server 192.168.3.29:9092 --describe --group group1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

Kafka界面

CMAK（原Kafka-Manager）

直接按照Github的文档来操作即可，需要Java11

Kafka-Tool

下载软件直接配置Kafka即可