赞
踩
环境部署:
一、需安装 Zookeeper 组件具体要求同 Zookeeper 任务要求,并与 Kafka 环境适配,启动 Zookeeper 并截图保存结果
1、启动三台机器zookeeper
bin/zkServer.sh start
二、解压 Kafka 安装包到“/usr/local/src”路径,并修改解压后文件夹名为 kafka,截图并保存结果
1、进入/h3cu目录找到kafka
cd /h3cu
2、解压kafka
tar -zxvf kafka_2.11-1.0.0.tgz -C /usr/local/src
3、重命名kafka
mv kafka_2.11-1.0.0 kafka
三、设置 Kafka 环境变量,并使环境变量只对当前 root 用户生效,截图并保存结果
1、添加环境变量
vi /root/.bashrc
2、使环境变量立即生效
source /root/.bashrc
四、修改 Kafka 相应文件,截图并保存结果
1、进入kafka/config目录下
cd /usr/local/src/kafka/config
2、修改 server.properties文件
vi server.properties
A、修改zookeeper.connect,修改log.dirs,最后加入两行
更改前:
更改后:
更改前:
更改后:
最后加入:
host.name=master1-1
delete.topic.enable=true
3、创建logs目录
mkdir logs
注:由于kafka安装目录下默认没有logs目录,故在 kafka/ 下创建logs目录
4、集群分发
scp -r /usr/local/src/kafka slave1-1:/usr/local/src/
scp -r /usr/local/src/kafka slave1-2:/usr/local/src/
5、分别修改slave1和slave2的server.properties文件
slave1-1节点:
broker.id=1
host.name=slave1-1
slave1-2节点:
broker.id=2
host.name=slave1-2
五、启动 Kafka 并保存命令输出结果,截图并保存结果
进入kafka安装目录
1、启动kafka
bin/kafka-server-start.sh -daemon ./config/server.properties &
注:启动kafka之前确保zookeeper已经启动,三台机器全部启动
六、创建指定 topic,并截图并保存结果
1、在master上创建topic-test
./bin/kafka-topics.sh --create --zookeeper master1-1:2181,slave1-1:2181,slave1-2:2181 --replication-factor 3 --partitions 3 --topic test
七、查看所有的 topic 信息,并截图并保存结果
1、查看所有topic信息
./bin/kafka-topics.sh --list --zookeeper localhost:2181
八、启动指定生产者(producer),并截图并保存结果
1、在master上启动生产者
./bin/kafka-console-producer.sh --broker-list master1-1:9092,slave1-1:9092,slave1-2:9092 --topic test
九、启动消费者(consumer),并截图并保存结果
1、在slave启动消费者
./bin/kafka-console-consumer.sh --bootstrap-server master1-1:9092,slave1-1:9092,slave1-2:9092 --from-beginning --topic test
十、测试生产者(producer),并截图并保存结果
注:在生产者随便输入一些内容
十一、测试消费者(consumer),并截图并保存结果
注:消费者将会自动打印生产者输入的内容
赞
踩
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。