kafka集群下载、启动、部署、测试_部署kafka archive

一、kafka基础操作

1. kafka下载

wget https://archive.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz
1

2. 解压

tar -zxvf kafka_2.13-2.4.0.tgz -C /app
1

3. 重命名

mv kafka_2.13-2.4.0 kafka
1

4. 在kafka目录下创建 data 数据文件夹

cd /app/kafka
mkdir data
1
2

5. 修改配置文件

/app/kafka/config
vim server.properties
#第一处 60行
1
2
3

log.dirs=/app/kafka/data
1

#第一处 123行

zookeeper.connect=ly-01:2181,ly-02:2181,ly-03:2181
1

6. 配置kafka环境变量

(目的使用kafka命令不用进到kafka目录执行)

sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/app/kafka
export PATH=$PATH:$KAFKA_HOME/bin
1
2
3
4

7. 刷新环境变量，使之生效

source /etc/profile
1

二、kafka集群操作

2.1. 分发配置好的基础安装包

将配置好的kafka同步到ly-02，ly-03服务器的2个节点

scp -r kafka/ root@ly-02:/app
scp -r kafka/ root@ly-03:/app
1
2

下面有2件事情要做，

1. 修改ly-02和ly-03 上kafka的配置文件中的brokerid，全局唯一补鞥重复，由于刚才是复制的同步的因此需要同步后进行修改
2. 启动zk集群
3. 启动kafka
   思考？kafka集群启动有3个节点，一个一个启动太麻烦，因此需要制作kafka启动脚本

2.2. 登录ly-02服务器，修改配置文件

cd /app/kafka/config/
vim server.properties
#将broker.id=0修改为等于1
1
2
3

2.3. 登录ly-03服务器，修改配置文件

cd /app/kafka/config/
vim server.properties
#将broker.id=0修改为等于2
1
2
3

2.3. 启动zk集群

登录ly-01服务器

#进入zk目录，找到咱们的脚本（脚本在哪都可以）
/app/zookeeper-3.5.7
#启动zk集群
./zkmanage.sh start
1
2
3
4

三、kafka 基础命令操作

3.1. kafka常用命令总览

3.2. 单机前台 启动kafka和关闭kafka

bin/kafka-server-start.sh config/server.properties
bin/kafka-server-stop.sh config/server.properties
1
2

这种启动在命令窗口中启动，不能关闭窗口，关闭窗口kafka服务也关了，因此这种启动方式不建议使用。

3.3. 单机后台(也叫守护式) 启动kafka和关闭kafka

bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-stop.sh  -daemon config/server.properties
1
2

这种方式启动确实满足kafka了，但是这种方式也太麻烦了。因此需要手动只做kafka启动关闭集群脚本

四、kafka集群命令脚本操作

4.1. kafka集群 启动脚本

#创建kk-start.sh文件
vim kk-start.sh
#复制一下内容到脚本中
#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka starting....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties"
done
#保存退出
#给脚本赋予可执行权限
chmod u+x kk-start.sh
#启动kafka集群
./kk-start.sh
#注：前提是启动zk集群
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

4.2. kafka集群 关闭脚本

#创建kk-stop.sh文件
vim kk-stop.sh
#复制一下内容到脚本中
#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka stopping....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-stop.sh /app/kafka/config/server.properties"
done
#保存退出
#给脚本赋予可执行权限
chmod u+x kk-stop.sh
#启动kafka集群
./kk-stop.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14

4.3. 集群说明