搭建Kafka集群_kafka 2.10 集群搭建

一：安装jdk
1.删除本地openjdk

rpm -qa | grep java   命令的意思是搜索java，查看安装包文件
1

2.卸载jdk

yum remove *openjdk*
1

3.安装jdk
将jdk压缩包解压并安装在/usr/lib/jvm目录下
4.配置环境变量

    1 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_261
    2 export PATH=$JAVA_HOME/bin:$PATH
    3 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
	
1
2
3
4

5.重新载入配置

 source /etc/profile
1

二.搭建Zookeeper集群
1。首先准备三台虚拟机

scp -r zookeeper 192.168.130.142:$PWD
scp -r zookeeper 192.168.130.143:$PWD
1
2

2。创建zkdata 和 zklogs

 cp zoo_sample.cfg zoo.cfg
 dataDir=/usr/local/zookeeper/zkdata
 dataLogDir=/usr/local/zookeeper/zklogs
1
2
3

3.设置集群节点：

server.1=192.168.130.141:2888:3888
server.2=192.168.130.142:2888:3888
server.3=192.168.130.143:2888:3888
1
2
3

4。分配myid
echo 1 > myid // 在每台zookeeper的zkdata里，echo 2 > myid ,echo 3 > myid
5.启动
./zkServer.sh start

切记关闭防火墙

systemctl start firewalld.service   //开启防火墙
systemctl stop firewalld.service   //关闭防火墙
firewall-cmd --zone=public --add-port=2000-40000/tcp --permanent //开放端口
1
2
3

三。Kafka集群

yum install -y lrzsz   //安装yum
1

1.创建日志目录
mkdir logs
2.对server.properties修改,分别对三台机器修改
第一台broker.id =0
第二台broker.id =1
第三台broker.id=2
2.配置日志文件

log.dirs=/usr/local/kafka/logs
1

3.配置zookeeper节点

zookeeper.connect=192.168.130.141:2181/kafka,192.168.130.142:2181/kafka,192.168.130.143:2181/kafka
1

配置全局变量，同jdk一样。查看kafka进程是否启动，jps就行。
在搭建集群环境
先ping，通则代表两台机器是可以通信的
然后nc -vz ip port 查看对应端口是否开放。这是一般查看多机器的基本流程。