当前位置:   article > 正文

Docker安装Kafka(docker-compose)、EFAK监控_docker efak

docker efak

安装Docker

Docker安装mysql EFAK监控面板会用到

EFAK监控面板
在这里插入图片描述

容器安装

1、kafka需要zookeeper管理,所以需要先安装zookeeper。 (PS:2.8版本以后kafka-Kraft 模式不再依赖zk,目前别的很多组件都依赖zk注册,所以还是以zk举例)

2、下载zookeeper镜像

$ docker pull wurstmeister/zookeeper
$ docker pull wurstmeister/kafka
  • 1
  • 2

启动zk镜像生成容器

docker run -d --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
$ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2  --name zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime wurstmeister/zookeeper
  • 1
  • 2

启动kafka镜像生成容器

## docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
$ docker run -d --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -v /etc/localtime:/etc/localtime wurstmeister/kafka
  • 1
  • 2

参数说明:
-e KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己

-e KAFKA_ZOOKEEPER_CONNECT=172.16.0.13:2181/kafka 配置zookeeper管理kafka的路径172.16.0.13:2181/kafka

-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.16.0.13:9092 把kafka的地址端口注册给zookeeper,如果是远程访问要改成外网IP,类如Java程序访问出现无法连接。

-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 配置kafka的监听端口

-v /etc/localtime:/etc/localtime 容器时间同步虚拟机的时间

3、验证kafka是否可以使用

$ docker exec -it kafka bash
  • 1

进入 /opt/kafka_2.12-2.3.0/bin/ 目录下

$ cd /opt/kafka_2.12-2.3.0/bin/
  • 1

运行kafka生产者发送消息

$ ./kafka-console-producer.sh --broker-list localhost:9092 --topic sun
  • 1

发送消息

> hello world
  • 1

运行kafka消费者接收消息

$ ./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sun --from-beginning
  • 1

docker-compose

安装docker-compose

新建 /opt/mydocker/docker-compose.yml

version: "2"
 
services:  #服务名,也可自定义
  zookeeper:
    image: wurstmeister/zookeeper
    container_name: zookeeper
    ports:
      - "2181:2181"
  kafka:
    image: wurstmeister/kafka
    container_name: kafka
    expose:
      - "9999"
    ports:
      - "9092:9092"
      - "9999:9999"
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 192.168.233.129
      KAFKA_ZOOKEEPER_CONNECT:  zookeeper:2181
      JMX_PORT: 9999  #启用远程JMX 监控面板用
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
docker-compose config -q  # 检查配置,有问题才有输出,进入docker-compose.yml文件目录执行
docker-compose up -d  # 启动所有docker-compose服务并后台运行
docker ps  # 查看容器
  • 1
  • 2
  • 3

zookeeper查看节点

进入容器

docker exec -it 容器id或容器name bash
cd bin
./zkCli.sh
ls /
  • 1
  • 2
  • 3
  • 4

在这里插入图片描述
查看kafka集群节点

ls /brokers/ids
ls /brokers/topics
  • 1
  • 2

在这里插入图片描述

安装EFAK

官网下载

EFAK V2.0.7Kafka-Eagle 重命名为 EFAK(Eagle For Apache Kafka)

tar -zxvf kafka-eagle-bin-2.0.7.tar.gz
tar -zxvf efak-web-2.0.7-bin.tar.gz -C /opt/module/
mv efak-web-2.0.7/ efak
  • 1
  • 2
  • 3

修改配置文件 /opt/module/efak/conf/system-config.properties

# 第一处
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.233.129:2181


# 第二处
######################################
# kafka offset storage
cluster1.efak.offset.storage=kafka
# cluster2.efak.offset.storage=zk


# 第三处
######################################
# kafka sqlite jdbc driver address
######################################
# sqlite 和 mysql 都可以
######################################
# kafka mysql jdbc driver address
######################################
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://192.168.233.129:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

添加环境变量

sudo vim /etc/profile.d/my_env.sh
# kafkaEFAK
export KE_HOME=/opt/module/efak
export PATH=$PATH:$KE_HOME/bin
  • 1
  • 2
  • 3
  • 4
source /etc/profile
  • 1

先启动zk和kafka

# 启动kafka-eagle
bin/ke.sh start
  • 1
  • 2

在这里插入图片描述
记得开放端口

#查看进程,启动失败控制台不会报错,只能去看日志
 ps -ef|grep efak
  • 1
  • 2

遇到情况:内存不足。最少2个G内存
在这里插入图片描述

容器编排启动时,Kafka命令行操作报错

在这里插入图片描述
进入/opt/kafka_2.13-2.8.1/bin

加一句

ISKAFKASERVER="false"
if [[ "$*" =~ "kafka.Kafka" ]]; then
    ISKAFKASERVER="true"
fi
  • 1
  • 2
  • 3
  • 4

改动这一行

if [  $JMX_PORT ] && [ -z "$ISKAFKASERVER" ]; then
  • 1

在这里插入图片描述

参考1
参考2

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小惠珠哦/article/detail/897799
推荐阅读
相关标签
  

闽ICP备14008679号