赞
踩
本次JMeter做角色Producer,如何生产消息的。而在第二章节就会详细讲解如何搭建KAFKA集群,通过JMeter把消息发送到搭建的KAFKA上。
在安装KAFKA插件时,请一定要注意和对应的JMeter版本相对应,否则会运行失败。
以下的是JMeter5.0以上的方法:
https://github.com/BrightTag/kafkameterhttps://github.com/BrightTag/kafkameter
打包成功会在target目录下,生成 kafkameter-0.2.0.jar和 original-kafkameter-0.2.0.jar
略
Class name:
co.signal.kafkameter.KafkaProducerSampler就是引用kafkameter-0.2.0.jar里面的方法,如果没有导入jar包到./lib/ext下,就不会有这个classname
以下属性是必需的。
如果有需要,也可以编辑下面的内容:
producer 发送消息到 broker 时,会根据分区算法选择将其存储到哪一个 partition。其路由机制为:
在windows搭建简单的KAFKA环境,理解一下其中的大致原理,加深理解。
ZooKeeper(动物管理员) 是一个开源的分布式协调服务,kafka基于ZooKeeper部署。
kafka是用于构建实时数据管道和流应用程序。具有横向扩展,容错,wicked fast(变态快)等优点。
从Kafka官网 http://kafka.apache.org/downloads 下载Kafka安装包。(要下载Binary downloads这个类型,不要下载源文件,方便使用)
本次使用 kafka_2.11-2.4.0.tgz
从zookeeper官网 http://zookeeper.apache.org/releases.html 下载zookeeper安装包。
本次使用 apache-zookeeper-3.5.9-bin.tar.gz
从官网 http://www.java.com/download/ 下载(建议下载Oracle官方发布的Java),,配置环境变量。
本次使用JDK1.8
a、解压apache-zookeeper-3.5.9-bin.tar.gz
b、在目录apache-zookeeper-3.5.9-bin\conf重命名zoo_sample.cfg为zoo.cfg
c、打开zoo.cfg文件,修改dataDir的值路径,路径可以自己定义。data的文件夹需要先创建。例如下面的dataDir=F:/kafka/zookeeper/data
... ... # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. # dataDir=/tmp/zookeeper dataDir=F:/kafka/zookeeper/data # the port at which the clients will connect clientPort=2181 ... ...
d、到此,ZooKeeper安装完毕
a、新建两个文件夹,一个是kafka,另外一个是kafka2
b、解压 kafka_2.11-2.4.0.tgz,解压内容一份放置在kafka文件夹下,另外一份放置在kafka2文件夹下
c、分别在kafka和kafka2文件夹下,新建kafka-logs文件夹,给下面配置使用
d、修改kafka目录中kafka_2.11-2.4.0\config\server.properties文件内容。样例如下:
1、新增broker.list=localhost:9093,localhost:9092
2、新增port=9092
3、新增host.name=localhost
... ... ############################# Server Basics ############################# # The id of the broker. This must be set to a unique integer for each broker. broker.id=0 broker.list=localhost:9093,localhost:9092 #listener and port port=9092 #broker 绑定的主机名称(IP) 如果不设置将绑定所有的接口。 host.name=localhost ############################# Socket Server Settings ############################# ... ...
e、修改kafka2目录中kafka_2.11-2.4.0\config\server.properties文件内容。样例如下:
1、修改broker.id=1
2、新增broker.list=localhost:9093,localhost:9092
3、新增port=9093
4、新增host.name=localhost
... ... ############################# Server Basics ############################# # The id of the broker. This must be set to a unique integer for each broker. broker.id=1 broker.list=localhost:9093,localhost:9092 #listener and port port=9093 #broker 绑定的主机名称(IP) 如果不设置将绑定所有的接口。 host.name=localhost ############################# Socket Server Settings ############################# ... ...
f、到此kafka安装完毕
进入zookeeper的bin目录,执行zkServer.cmd(打开命令窗口)
进入kafka和kafka2目录中kafka_2.11-2.4.0\bin\windows (执行命令都需要进入该目录,下面的操作步骤就省略这个说明),执行命令
kafka-server-start.bat ..\..\config\server.properties
进入kafka或kafka2目录中kafka_2.11-2.4.0\bin\windows,执行命令,创建一个topic为Testfactor2partitions2
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitions 2 --topic Testfactor2partitions2
现在我们一共有两台broker,如果--replication-factor 多于2的话,就会报异常“ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 4 larger than available brokers: 2.”
再创建一个topic为Testfactor2partitions99
kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitions 99 --topic Testfactor2partitions99
查询toipc:进入kafka或kafka2目录中kafka_2.11-2.4.0\bin\windows,执行命令
kafka-topics.bat --list --zookeeper localhost:2181
现在情况如下:
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic Testfactor2partitions2 --from-beginning
kafka-console-consumer.bat --bootstrap-server localhost:9093 --topic Testfactor2partitions99 --from-beginning
kafka_brokers=localhost:9092,localhost:9093(kafka服务器)
kafka_topic=Testfactor2partitions2
kafka_message=Producer1(TOPIC): Testfactor2partitions2
如下截图:
点击JMeter的发送,那么a步骤的消费者就会消费这条消息了。如下截图:
如果传中文就会有乱码,需要另外配置处理。
kafka_brokers=localhost:9092,localhost:9093(kafka服务器)
kafka_topic=Testfactor2partitions99
kafka_message=Producer1(TOPIC): Testfactor2partitions99
如下截图:
如果java请求体的kafka_partition字段传的值,大于创建主题时的--partitions xx时,就会报异常“java.lang.IllegalArgumentException: Invalid partition given with record: 100 is not in the range [0...99].”
搭建简单的kafka环境,并且也实现生产消费消息场景。zookeeper会把kafka信息存储到data文件内,kafka会把topic消息信息存储到kafka-logs内。
如果要格式化kafka,就必须得把zookeeper目录下的data文件内的文件删掉,还要把kafka和kafka2目录下的kafka-logs文件内的文件删掉。
如果停掉kafka时,除了关闭命令窗口外,也可以执行kafka-server-stop.bat命令。
思考: 虽然是本地的地址,但是可以思考,如果想消费其他服务器的消息。如果想向其他服务器生产消息
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。