赞
踩
1、Kafka下载:
wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
解压 tar zxvf kafka_2.9.2-0.8.1.tgz
由于kafka使用scala编写,需要下载scala相关的库
2、下载安装sbt:
wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm
如果报404错误,可以采取离线下载,再RZ到Linux中
安装方式有两种
yum install -y sbt-0.13.1.rpm 或 rpm -ivh sbt-0.13.1.rpm
3、 更新scala环境:
sbt update
sbt package
sbt assembly-package-dependency(这一步根据版本可以不执行)
4、配置config/server.properties
broker.id为依次增长的:0、1、2、3、4,集群中唯一id
log.dirs设置到大硬盘路径下
num.network.threads
num.partitions ,默认分区数
num.io.threads 建议值为机器的核数;
zookeeper.connect 设置为zookeeper Servers 列表,各节点以逗号分开
5、配置producer.properties和consumer.properties
producer.properties的配置:
metadata.broker.list=master:9092,slave1:9092…….
consumer.properties的配置:
zookeeper.connect=master:2181,slave1:2181…….
6、启动和测试Kafka
首先启动zookeeper集群;
Kafka 启动
在kafka的部署目录下,在各个节点上通过如下命令来启动:
$ nohup bin/kafka-server-start.sh config/server.properties &
[root@master ~]# jps
3098 ZooKeeperMain
3037 Kafka
创建topic:
bin/kafka-topics.sh –zookeeper master:2181,slave1:2181
–topic track_log –replication-factor 2 –partitions 2 –create
其中: –topic 定义topic名
–replication-factor 定义副本数
–partitions 定义分区数
进入ZK中查看创建的topic
查看全部Topic:
bin/kafka-topics.sh –zookeeper 192.168.1.107:2181,192.168.1.107:2181 –list
删除Topic:
./kafka-topics.sh –topic topicName –delete
–zookeeper 192.168.1.107:2181,192.168.1.107:2181
查看Topic明细:
./kafka-topics.sh –topic test –describe
–zookeeper 192.168.1.107:2181,192.168.1.107:2181
生产和消费
Productor:
bin/kafka-console-producer.sh –broker-list
192.168.1.107:9092,192.168.1.108:9092 –topic topicName
Consumer:
bin/kafka-console-consumer.sh
–zookeeper 192.168.1.107:2181,192.168.1.107:2181
–topic topicName –from-beginning
异常处理
报异常:
Failed to load class “org.slf4j.impl.StaticLoggerBinder”
解决方法:
下载slf4j-1.7.6.zip
wget http://www.slf4j.org/dist/slf4j-1.7.6.zip
解压
unzip slf4j-1.7.6.zip
把slf4j-nop-1.7.6.jar 包复制到kafka libs目录下面
配置文件config/server.properties 中配置项:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。