docker-compose 安装kafka集群_docker-compose kafka集群

点击关注《golang技术实验室》公众号****，将****获取更多干货

介绍

Kafka是一种高性能的分布式流处理平台，它的集群工作原理如下：

假设你是一个快递员，Kafka集群就是一个快递中转站。在这个中转站中，有很多个小窗口（Broker），每个窗口有一个工作人员（Broker）负责接收和分发快递。

• • 发送快递（Producer）：你的工作是将快递从不同的地方收集起来，然后送到中转站的一个窗口。你可以一次送多个快递，每个快递都有一个编号（消息的键），内容（消息的值）和地址（主题）。你将这些快递递给窗口工作人员。
  • 中转站（Broker）：窗口工作人员负责接收你送来的快递，并将它们存放在中转站中。这些快递被存放在不同的箱子中，每个箱子都有一个编号（分区）。中转站会确保快递的安全存储，并且可以将快递复制到其他窗口（副本）中，以防止数据丢失。
  • 消费快递（Consumer）：有些人（消费者）来到中转站，希望取走他们关心的快递。他们告诉窗口工作人员他们关心的快递的编号和地址，窗口工作人员会告诉他们快递在哪个箱子（分区）中，并将快递递给他们。消费者可以按照自己的节奏和需要来取走快递。
  • 管理和协调（ZooKeeper）：中转站还有一个管理员（ZooKeeper），负责监控中转站的状态，并管理分区和消费者的信息。管理员会确保每个窗口工作正常，箱子（分区）均匀分布，以及消费者获取快递的正确信息。总结起来，Kafka集群的工作原理就是：生产者将消息送到中转站的窗口，窗口工作人员将消息存放在不同的箱子（分区）中，消费者可以根据自己的需求取走他们关心的消息。管理员负责管理和协调整个中转站的运作。这样的设计使得Kafka集群具有高吞吐量、低延迟和高可靠性的特点，非常适合处理大规模的实时数据流。

部署

这边kafka集群基于docker部署，所以要先安装docker

安装docker-compose

curl -L "https://github.com/docker/compose/releases/download/1.25.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose    
chmod +x /usr/local/bin/docker-compose
docker-compose version   # 查看版本信
1
2
3

安装docker

yum -y install yum-utils
yum-config-manager \  --add-repo \  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.rep
yum install docker-ce docker-ce-cli containerd.io
systemctl start docker
systemctl enable docker
1
2
3
4
5

安装zookeeper集群

在每台机器上安装一个zookeeper和一个kafka组成整体的集群。.

进入三台服务器，创建目录/data/local/zk，并创建zk.yml文件

mkdir -p /data/local/kafka/zk/data/ && chmod -R 777  /data/local/kafka/zk/data/
cd /data/local/kafka/zk
touch zk.yml
1
2
3

zk.yml是docker-compose的编排文件，三台服务器的zk.yml文件内容分别如下：

192.168.2.210中的zk.yml

version: '3.1'
services:
  zk1:
    image: 'zookeeper:3.7'
    restart: always
    hostname: zoo1
    container_name: zk1
    network_mode: host
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=192.168.2.210:2888:3888;2181 server.2=192.168.2.211:2888:3888;2181 server.3=192.168.2.212:2888:3888;2181
    volumes:
      - /data/local/kafka/zk/data:/data
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

192.168.2.211中的zk.yml

version: '3.1'
services:
  zk2:
    image: 'zookeeper:3.7'
    restart: always
    hostname: zoo2
    container_name: zk2
    network_mode: host
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=192.168.2.210:2888:3888;2181 server.2=192.168.2.211:2888:3888;2181 server.3=192.168.2.212:2888:3888;2181
    volumes:
      - /data/local/kafka/zk/data:/data
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

192.168.2.212中的zk.yml

version: '3.1'
services:
  zk1:
    image: 'zookeeper:3.7'
    restart: always
    hostname: zoo3
    container_name: zk3
    network_mode: host
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=192.168.2.210:2888:3888;2181 server.2=192.168.2.211:2888:3888;2181 server.3=192.168.2.212:2888:3888;2181
    volumes:
      - /data/local/kafka/zk/data:/data
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

分别在三台机器的/data/local/zk目录下执行以下命令，开启zk集群

docker-compose -f zk.yml up -d
1

进入容器内部查看是否启动成功：

docker exec -it zk1 bash
zkServer.sh status

docker exec -it zk2 bash
zkServer.sh status

docker exec -it zk3 bash
zkServer.sh status
1
2
3
4
5
6
7
8

如果启动成功，可以看到如下内容：

至此，一个部署在三台服务器上的3节点zookeeper集群就搭建成功了。

安装kafka集群

进入三台服务器，创建目录/data/local/kafka，并创建zk.yml文件

mkdir -p /data/local/kafka/kafka/data/ && chmod -R 777  /data/local/kafka/kafka/data/
cd /data/local/kafka/kafka
touch kafka.yml
1
2
3

kafka.yml是docker-compose的编排文件，三台服务器的kafka.yml文件内容分别如下：

192.168.2.210中的kafka.yml

version: '2'
services:
  k1:
    image: 'bitnami/kafka:3.2.0'
    restart: always
    container_name: k1
    network_mode: host
    ports:
      - 9092:9092
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.2.210:2181,192.168.2.211:2181,192.168.2.212:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_BROKER_ID=1
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.210:9092
      - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_NUM_PARTITIONS=3
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
    volumes:
      - /data/local/kafka/kafka/data:/bitnami/kafka/data
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

192.168.2.211中的kafka.yml

version: '2'
services:
  k1:
    image: 'bitnami/kafka:3.2.0'
    restart: always
    container_name: k2
    network_mode: host
    ports:
      - 9092:9092
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.2.210:2181,192.168.2.211:2181,192.168.2.212:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_BROKER_ID=1
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.211:9092
      - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_NUM_PARTITIONS=3
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
    volumes:
      - /data/local/kafka/kafka/data:/bitnami/kafka/data
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

192.168.2.212中的kafka.yml

version: '2'
services:
  k1:
    image: 'bitnami/kafka:3.2.0'
    restart: always
    container_name: k3
    network_mode: host
    ports:
      - 9092:9092
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=192.168.2.210:2181,192.168.2.211:2181,192.168.2.212:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_BROKER_ID=1
      - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.2.212:9092
      - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_NUM_PARTITIONS=3
      - KAFKA_CFG_OFFSETS_TOPIC_REPLICATION_FACTOR=3
    volumes:
      - /data/local/kafka/kafka/data:/bitnami/kafka/data
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

分别在三台机器的/data/local/kafka目录下执行以下命令，开启kafka集群

docker-compose -f kafka.yml up -d
1

创建topic并验证消费者和生产者,进入192.168.2.210的kafka容器内部

docker exec -it k1 bash
cd /opt/bitnami/kafka/bin
./kafka-topics.sh --create --bootstrap-server 192.168.2.210:9092 --replication-factor 1 --partitions 3 --topic devops11
1
2
3

进入其他机器的kafka容器内部，查看是否存在刚创建的topic，如果存在则说明Kafka集群搭建成功。

docker exec -it k2 bash
kafka-topics.sh --list --bootstrap-server 192.168.2.211:9092
docker exec -it k3 bash
kafka-topics.sh --list --bootstrap-server 192.168.1.212:9092
1
2
3
4