kafka集群部署流程

准备
压缩包 用途
zookeeper-3.4.12.tar.gz zookeeper压缩包
kafka_2.11-0.10.1.1.tgz kafka压缩包
jdk1.8.0_112.tar jdk1.8压缩包

zookeeper-3.4.12.tar.gz ：

1.登录linux

2. 进入到 /home/appadmin 目录下 将 zookeeper-3.4.12.tar.gz 下载到本地

3.打开你想要部署kafka机器的机器的 sftp，将刚下载好的 zookeeper-3.4.12.tar.gz 上传到对应虚拟机的 /home/appadmin下

kafka_2.11-0.10.1.1.tgz：

同上操作

jdk1.8.0_112.tar：

也可以如上操作，但是jdk比较大，上传下载比较耗时，可以直接联系系统组使用命令帮忙操作。以上两个压缩包比较小，可以自行操作，如果你比较懒 直接叫系统组都给你操作好即可

注意：由于各个生产环境部署路径都是在/home/appadmin 下，因此部署的时候 为了方便后续大家运维或者排除问题的方便性，大家还是保持相关路径都和之前一致，不要变更各种路径

部署jdk
1.解压缩 jdk1.8.0_112.tar

tar -zxvf   jdk1.8.0_112.tar
1

2. 在 /home/appadmin下的bash_profile文件 加入环境变量

JAVA_HOME=/home/appadmin/jdk1.8.0_112/
CLASSPATH=$JAV{A}_{H}OME/lib/PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME CLASSPATH

3 source bash_profile文件 让变更及时生效

source .bash_profile

4. 验证

   输入 java -version 进行验证是否安装成功

部署zk
1.解压缩zookeeper-3.4.12.tar.gz

如上命令

2.在 home/appadmin/zookeeper-3.4.12 下新增日志文件夹 zkData

mkdir zkData

3.在conf下将zoo_sample.cfg 复制成新文件zoo.cfg

cp zoo_sample.cfg zoo.cfg

4.修改zoo.cfg

dataDir=/home/appadmin/zookeeper-3.4.12/zkData
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

保存退出

5.zkData下新增myid，并写入对应id

echo “1” >myid

注意：zk1、zk2、zk3 需要替换为zk所在机器的主机名，第五步 写入myid 需要在三个zk节点下都执行，写入数字和配置的server.x 对应

部署kafka
1.解压缩kafka_2.11-0.10.1.1.tgz

如上命令

2./Data目录下新增文件夹 kafka-logs

mkdir kafka-logs

2.修改server.properties

broker.id=1
listeners=PLAINTEXT://kafka:9092
log.dirs=/Data/kafka-logs
num.partitions=20
default.replication.factor=2
zookeeper.connect=zk1:2181,zk2:2181,zk3:2181/kafka

3.kafka jvm参数配置

打开 kafka-server-start.sh加入

export KAFKA_HEAP_OPTS="-Xmx3g -Xms3g
-XX:MetaspaceSize=96m
-XX:+UseG1GC
-XX:MaxGCPauseMillis=20
-XX:InitiatingHeapOccupancyPercent=35
-XX:G1HeapRegionSize=16M
-XX:MinMetaspaceFreeRatio=50
-XX:MaxMetaspaceFreeRatio=80"
export JMX_PORT=“9999”

保存退出

注意：zk1、zk2、zk3替换为上面所部署的zk所在主机名、kafka 替换为当前kafka所在的主机名、broker.id 各个kafka节点唯一 一般按加1递增 如 1,2,3 即可.

启动
1.启动zk集群，三个节点都需要执行

在/home/appadmin/zookeeper-3.4.12 目录下执行

nohup ./bin/zkServer.sh start >> zookeeper.out 2>&1 &

2.启动kafka集群，三个节点都需要执行

在/home/appadmin/kafka_2.11-0.10.1.1 目录下执行

nohup ./bin/kafka-server-start.sh config/server.properties >> kafka.out 2>&1 &

3.验证

查看zookeeper.out 和 kafka.out 文件内容 正常启动基本就没啥问题，如果还需要验证 可以自己用命令创建一个topic 进行发送消费测试