kafka安装配置(超详细，傻瓜式安装)_kafka 安装配置

kafka安装配置

使用的三台主机名称分别为bigdata1，bigdata2，bigdata3。所使用的安装包名称按自己的修改，安装包可去各大官网上下载

一，解压
将Master节点Zookeeper，kafka安装包解压到/opt/module目录下

tar -zxvf /opt/software/kafka_2.12-2.4.1.tgz -C /opt/module/
1

tar -zxvf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz-C/opt/module/
1

二，配置
配置好zookeeper，其中zookeeper使用集群模式
修改环境变量

vim /etc/profile
1

#ZK
export ZK_HOME=/opt/module/zookeeper-3.5.7
export PATH=$PATH:$ZK_HOME/bin
1
2
3

刷新环境变量
三台虚拟机都要配置

source /etc/proflie
1

进入zookeeper创建data文件夹

mkdir data
1

进入data

cd data 
1

vim myid 
1

写入2

2
1

然后在进入zookeeper的conf下
修改zoo_sample.cfg名字改为zoo.cfg

 mv zoo_sample.cfg  zoo.cfg
1

修改zoo.cfg

vim zoo.cfg
1

添加

server.2=bigdata1:2888:3888
server.3=bigdata2:2888:3888
server.4=bigdata3:2888:3888
1
2
3

修改

dataDir=/opt/module/zookeeper-3.5.7/data
1

分发zookeeper

 scp -r /opt/module/zookeeper-3.5.7/ root@bigdata2:/opt/module/
1

 scp -r /opt/module/zookeeper-3.5.7/ root@bigdata3:/opt/module/
1

修改bigdata2和bigdata3中的zookeeper下的data中myid的值分别改为3和4
与下方的对应

server.2=bigdata1:2888:3888
server.3=bigdata2:2888:3888
server.4=bigdata3:2888:3888
1
2
3

修改名称使环境变量里的和module下的一致
在module下：

mv apache-zookeeper-3.5.7-bin zookeeper-3.5.7 
1

mv kafka_2.12-2.4.1 kafka-2.12
1

启动zookeeper
三台都启动
启动后jps查看进程 QuorumPeerMain

zkServer.sh start
1

配置好kafka的环境变量
三台都配

vim /etc/profile
1

#kafka
export KAFKA_HOME=/opt/module/kafka-2.12
export PATH=$PATH:$KAFKA_HOME/bin
1
2
3

刷新环境变量

source /etc/profile
1

使用kafka-server-start.sh --version查看kafka的版本内容

kafka-server-start.sh --version
1

三，使用
进入kafka的config中修改server.properties文件

vim /opt/module/kafka-2.12/config/server.properties
1

#节点id，不同的节点用不同的数字表示

broker.id=1
1

#对外的ip及端口，端口号每个文件不要用同一个，我使用的分别是9091,9092,9093

listeners=PLAINTEXT://192.168.4.130:9091
1

#数据存放位置，每个节点一个如/kafka-logs-1，/kafka-logs-2，/kafka-logs-3等，不同节点使用文件不可重复，如果重复了容易启动失败

log.dirs=/usr/local/kafka_2.12-2.5.1/data/cluster/kafka-logs-1
1

#填zookeeper的地址，多个用，隔开

zookeeper.connect=192.168.4.130:2181
1

启动kafka
后台启动

bin/kafka-server-start.sh -daemon config/server.properties
1

在每个节点启动Kafka，创建topic，其中toipic名称为installtopic，分区数为2，副本数为2

kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 2 --partitions 2 --topic installtopic
1

查看创建成果

kafka-topics.sh --bootstrap-server bigdata1:9091 --list
1