hadoop集群四之zookeeper、kafka安装_hadoop3.3.5集群搭建zookeeper和kafka

1. hadoop集群一之虚拟机安装(mac)
2. hadoop集群二之hadoop安装
   hadoop集群搭建完成后，紧接着我们将安装zookeeper组件。

zookeeper安装

上传zookeeper和kafka并解压

将压缩包上传到服务器/export/server目录下并解压，安装包自取，zookeeper3.5.6版本+kafka2.3.1版本

cd /export/server
tar -zxvf apache-zookeeper-3.5.6-bin.tar.gz
tar -zxvf kafka_2.12-2.3.1.tgz
1
2
3

移动到/usr/local下并修改名称为zookeeper

mv apache-zookeeper-3.5.6-bin /usr/local/zookeeper
mv kafka_2.12-2.3.1 /usr/local/kafka
1
2

修改配置文件

在/usr/local/zookeeper下配置zoo.cfg

cd /usr/local/zookeeper/conf/
cp ./zoo_sample.cfg zoo.cfg
1
2

打开zoo.cfg并修改配置，只需更改dataDir

dataDir=/usr/local/zookeeper/dataDir
# 集群配置
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node2:2888:3888
1
2
3
4
5

新增myid文件

在配置的dataDir下面新增文件myid，增加集群配置的识别码

同步zookeeper文件到其他的节点

scp -r zookeeper/ root@node2:$PWD
scp -r zookeeper/ root@node3:$PWD
1
2

将另外两个节点中的myid文件的值修改为相应的数字

启动ZooKeeper

切换到zookeeper目录下启动zookeeper

bin/zkServer.sh start
1

启动成功：

注意：这里三个节点都要执行这个命令，不然会报错

检查集群是否搭建成功

bin/zkServer.sh status
1

其中一台服务器为leader，其他两台为follower。表示zookeeper成功。

kafka安装

前面我们已经将安装包解压并移动到/usr/local目录下。

修改配置文件

修改node1节点下Kafka目录下的config/server.properties文件，以下为修改项

broker.id=1
num.partitions=2
default.replication.factor=2
listeners=PLAINTEXT://node1:9092
log.dirs=/usr/local/kafka/logs
zookeeper.connect=node1:2181,node2:2181,node3:2181
1
2
3
4
5
6

将文件同步发给另外两节点

cd /usl/local
scp -r kafka root@node3:$PWD
scp -r kafka root@node3:$PWD
1
2
3

更改node2和node3节点配置

以node2为例，node3节点配置参考以下进行更改。

broker.id=2
listeners=PLAINTEXT://node2:9092
1
2

启动kafka集群

启动kafka之前，最好将zookeeper集群关闭再重新启动。

cd /usr/local/kafka
bin/kafka-server-start.sh -daemon config/server.properties
1
2

这个命令同样需要再三台节点都需要执行，暂未找到一键启动的方式

出现kafka和quorumpeermain则说明正常启动。

kafka测试

我们将node1作为生产者，node2和node3作为消费者进行测试。

创建topictest主题

bin/kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node3:2181 --replication-factor 2 --partitions 2 --topic topictest
1

启动生产者

bin/kafka-console-producer.sh --broker-list node1:9092,node2:9092,node3:9092 --topic topictest
1

启动消费者

bin/kafka-console-consumer.sh --bootstrap-server node1:9092,node2:9092,node3:9092 --topic topictest
1

测试

到这里，表示大功告成。