当前位置:   article > 正文

【拆分版】Docker-compose构建Zookeeper集群管理Kafka集群

docker compose kafka zk 分开启动

写在前边

在搭建Logstash多节点之前,想到就算先搭好Logstash启动会因为日志无法连接到Kafka Brokers而无限重试,所以这里先构建下Zookeeper集群管理的Kafka集群。

众所周知,Zookeeper是一个高效的分布式协调中间件,可以提供配置信息管理、命名、分布式同步(分布式锁)、集群管理、数据库切换等服务。这里主要用它的集群管理功能,它可以确保在网络状态不一致,选出一致的Master节点。它是Apache下的一个Java项目,隶属于Hadroop系统,正如其名"动物管理员",作为管理员的角色存在。

有兴趣了解zookeeper的原理,可以学习Paxos协议与Zab协议。

ps: Hadroop系统下基本上所有的软件都是动物命名的

在这里,我们将使用Zookeeper来管理Kafka集群,Kafka是一种消息队列(Message Queue)中间件,具有高并发、高吞吐量、容错性强、可扩展等优点。在ELK日志系统中使用Kafka作为数据的缓冲层,提高了系统的性能与稳定性。

正好今天通过翻看两者官方的文档与其Docker镜像的文档,终于搭建成功,遂记之分享诸君。鉴于水平有限,如有写得不对的地方,欢迎大家指正。

本文搭建架构图

1149398-20190625223655424-59132984.png

说明:

Zookeeper搭建成集群后,提供命名服务与集群协调服务,Kafka的节点Broker通过domain与ip进行注册到Zookeeper集群中,通过Zookeeper的协调能力,选出唯一的Leader节点,集群服务启动并对外提供服务。

环境准备

  • GNU/Debian Stretch 9.9 linux-4.19
  • Docker 18.09.6
  • Docker-Compose 1.17.1

目录结构

  1. ├── docker-kafka-cluster
  2. │   ├── docker-kafka-cluster-down.sh
  3. │   ├── docker-kafka-cluster-up.sh
  4. │   ├── kafka-01
  5. │   │   ├── docker-compose.yml
  6. │   │   └── .env
  7. │   ├── kafka-02
  8. │   │   ├── docker-compose.yml
  9. │   │   └── .env
  10. │   ├── kafka-03
  11. │   │   ├── docker-compose.yml
  12. │   │   └── .env
  13. │   └── kafka-manager
  14. │   ├── docker-compose.yml
  15. │   └── .env
  16. └── docker-zookeeper-cluster
  17.    ├── docker-zk-cluster-down.sh
  18.    ├── docker-zk-cluster-up.sh
  19.    ├── zk-01
  20.    │   ├── docker-compose.yml
  21.    │   └── .env
  22.    ├── zk-02
  23.    │   ├── docker-compose.yml
  24.    │   └── .env
  25.    └── zk-03
  26.    ├── docker-compose.yml
  27.    └── .env

docker-zookeeper-cluster源码参见我的Git仓库 https://github.com/hellxz/docker-zookeeper-cluster.git

docker-kafka-cluster源码参见我的Git仓库 https://github.com/hellxz/docker-kafka-cluster.git

各节点容器说明列表

Zookeeper集群

节点目录名容器名client portfollower portelection port
zk-01zk-01218128883888
zk-02zk-02218228893889
zk-03zk-03218328903890

Kafka集群

节点目录名容器名占用端口
kafka-01kafka-19092
kafka-02kafka-29093
kafka-03kafka-39094
kafka-managerkafka-manager19000

各文件内容说明

Zookeeper部分

docker-zookeeper-cluster/zk-01目录下的.env

.env配置文件为docker-compose.yml提供了多个zookeeper的发现服务节点列表

配置格式为 server.x=x节点主机ip:随从端口:选举端口;客户端口 其中xZOO.MY.ID的数值,客户端口前是;

  1. # set args to docker-compose.yml by default
  2. # set zookeeper servers, pattern is `server.x=ip:follower-port:election-port;client:port`,
  3. # such as "server.1=192.168.1.1:2888:3888;2181 server.2=192.168.1.2:2888:3888;2181",
  4. # `x` is the `ZOO.MY.ID` in docker-compose.yml, multiple server separator by white space.
  5. # now you can overide the ip for server.1 server.2 server.3, here demonstrate in one machine so ip same.
  6. ZOO_SERVERS=server.1=10.2.114.110:2888:3888;2181 server.2=10.2.114.111:2889:3889;2182 server.3=10.2.114.112:2890:3890;2183

docker-zookeeper-cluster/zk-01目录下的docker-compose.yml

  1. version: '3'
  2. services:
  3. zk-01:
  4. image: zookeeper:3.5.5
  5. restart: always
  6. container_name: zk-01
  7. ports:
  8. - 2181:2181 # client port
  9. - 2888:2888 # follower port
  10. - 3888:3888 # election port
  11. environment:
  12. ZOO_MY_ID: 1 # this zookeeper's id, and others zookeeper node distinguishing
  13. ZOO_SERVERS: ${ZOO_SERVERS} # zookeeper services list
  14. network_mode: "host"

Kafka部分

kafka-01目录下的.env 为例

.env配置文件为docker-compose.yml提供了多个zookeeper的ip:client-port列表

  1. # default env for kafka docker-compose.yml
  2. # set zookeeper cluster, pattern is "zk1-host:port,zk2-host:port,zk3-host:port", use a comma as multiple servers separator.
  3. ZOO_SERVERS=10.2.114.110:2181,10.2.114.111:2182,10.2.114.112:2183

kafka-01目录下的docker-compose.yml,为docker-compse的配置文件

  1. version: "3"
  2. services:
  3. kafka-1:
  4. image: wurstmeister/kafka:2.12-2.1.1
  5. restart: always
  6. container_name: kafka-1
  7. environment:
  8. - KAFKA_BROKER_ID=1 #kafka的broker.id,区分不同broker
  9. - KAFKA_LISTENERS=PLAINTEXT://kafka1:9092 #绑定监听9092端口
  10. - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka1:9092 #绑定发布订阅的端口
  11. - KAFKA_ZOOKEEPER_CONNECT=${ZOO_SERVERS} #连接zookeeper的服务地址
  12. - KAFKA_MESSAGE_MAX_BYTES=2000000 #单条消息最大字节数
  13. #- KAFKA_CREATE_TOPICS=Topic1:1:3,Topic2:1:1:compact #创建broker时创建的topic:partition-num:replica-num[:clean.policy]
  14. network_mode: "host"

KAFKA_CREATE_TOPICS使用官方说明:Topic 1 will have 1 partition and 3 replicas, Topic 2 will have 1 partition, 1 replica and a cleanup.policy set to compact. 文档地址:https://hub.docker.com/r/wurstmeister/kafka

Zookeeper集群使用

  1. 请确保所布署的 1~3 台服务器网络可以ping通
  2. 确保第一台主机的2181\2888\3888端口未占用,第二台主机的2182\2889\3889端口未占用,第三台主机的2183\2890\3890端口未占用
  3. 复制zk-01到第一台主机、复制zk-02到第二台主机、复制zk-03到第三台主机
  4. 修改zk-01\zk-02\zk-03目录下的.env中的ZOO_SERVERS的值,按上述配置要求修改。修改完后的配置应该是集群内通用的,可以scp复制过去。
  5. 单台主机请为docker-zk-cluster-up.shdocker-zk-cluster-down.sh授执行权,使用它们进行up和down操作;多台主机请手动分别进入zk-0x目录,执行docker-compose up -d以启动,执行docker-compose down以关闭。

Kafka集群使用

  1. 使用前确保各主机可以互相ping通

  2. 确保zookeeper的服务列表与各对应的zookeeper的ip与客户端口相同,如不同注意修改.env,集群中.env文件相同,可scp复制

  3. 确保zookeeper集群启动

  4. 复制kafka-01到第一台主机、复制kafka-02到第二台主机、复制kafka-03到第三台主机

  5. 确保这几台主机对应的占用端口号不被占用 kafka-01对应9092kafka-02对应9093kafka-03对应9094kafka-manager对应19000

  6. 分别对每一台kafka-0x所在的主机修改/etc/hosts,例

    1. 10.2.114.110 kafka1
    2. 10.2.114.111 kafka2
    3. 10.2.114.112 kafka3

    其中每个主机只需要设置自己的主机上的host,比如我复制了kafka-01我就写本机ip kafka1 ,依次类推.

  7. 单台主机部署kafka集群请为docker-kafka-cluster-up.shdocker-kafka-cluster-down.sh授执行权,不要移动目录,通过这两个shell脚本来启动项目;多台主机请手动进入kafka-0x目录下,执行docker-compose up -d以后台启动,执行docker-compose down以移除容器

  8. 启动脚本中没有启动kafka-manager,有需要请自行启动。为了匹配kafka的版本,使用时设置2.1.1即可。

文中配置部分的ip因使用同一台主机做的测试,所以ip相同,为了防止误解,在文中已经修改了ip,具体详见:

本文系原创文章,谢绝转载

转载于:https://www.cnblogs.com/hellxz/p/docker_zookeeper_cluster_and_kafka_cluster.html

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/Cpp五条/article/detail/652111
推荐阅读
相关标签
  

闽ICP备14008679号