赞
踩
作为一名菜鸟Java工程师,公司这几天让我搭建kafka,对于搭建过的人来说十分简单,对zookeeper不太熟悉的人来说还是有一定难度的,这一周我在公司的角色更像是运维人员搭建集群和服务,一般公司像这种集群搭建来说也不会给我这种小白搭建,一个字干,另外zookeeper集群搭建点击这篇,clickhoues集群搭建点击这篇。
对于集群搭建来说使用docker来搭建更加方便,这里使用docker-compose来搭建单机kafka,集群类似。
由于我自己就一台服务器,那就在一台单机部署kafka了为了能保证kafka搭建可用,这里分二个阶段:准备阶段、搭建阶段、测试阶段。
1、准备阶段:一定要去服务器看看有没有配置安全组,否则连不上客户端,kafka这里不开放端口,消息发送不了。
等搭建阶段运行端口起来后可以执行telnet命令,没有的话yum安装一个,用起来方便。
yum list telnet* #列出telnet相关的安装包
yum install telnet-server #安装telnet服务
yum install telnet.* #安装telnet客户端
telnet 你的ip 9092
2、搭建阶段:安装docker和docker-compose、创建文件夹、上传文件、运行容器、查看状态、测试生产消费消息。
#更新yum
sudo yum update
#安装docker
sudo yum install docker-ce
#安装docker-compose,利用它编排和运行docker容器更方便
sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
#设置可执行权限
sudo chmod +x /usr/local/bin/docker-compose
#查看安装成功
docker-compose --version
mkdir /home/kafka
rz docker-compose.yml
docker-compose up -d
docker-compose logs
docker-compose.yml
version: '3'
services:
kafka:
image: wurstmeister/kafka:2.12-2.5.0
container_name: kafka
ports:
- "9092:9092"
environment:
KAFKA_BROKER_ID: 1
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://你自己ip:9092 ## 修改:宿主机IP
KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
KAFKA_ZOOKEEPER_CONNECT: 你自己ip:2181, 你自己ip:2182, 你自己ip:2183 #安装的zookeeper宿主机IP以及端口
3、测试消息生产与消费
#先看下端口通不通吧,不通可能是安全组的问题,或者配置文件配置不对
telnet 你的ip 9092
#与容器交互
docker exec -it kafka sh
#生产者发送消息,这里会自动创建topic,执行命令后即可输入你想要发送的消息
kafka-console-producer.sh --broker-list 你自己的ip:9092 --topic test
#另开一个服务器窗口作为消费者
docker exec -it kafka sh #与容器交互
kafka-console-consumer.sh --bootstrap-server 你自己的ip:9092 --from-beginning --topic test
类似此图就好了:
恭喜你搭建成功,记得一键三连呀!
努力把每件事做好,就会成为自信的。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。