kafka的安装以及使用_.net core kafaka的使用

安装ZooKeeper

1,下载安装包，直接下载3.4.x版本，3.5.x版本可能启动无法找到主类，使用：下载地址 此链接下载直接弃坑
2,解压到D盘进入D:\zookeeper-3.4.14\conf目录，将zoo_sample.cfg”重命名为“zoo.cfg”
3，打开“zoo.cfg”并编辑为dataDir=D:\zookeeper-3.4.14\tmp(必须以\分割)
不然会出现以下的报错：

4，添加系统变量ZOOKEEPER_HOME=D:\zookeeper-3.4.14，并编辑path系统变量，添加路径：%ZOOKEEPER_HOME%\bin，在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181）
5，打开新的cmd，输入“zkServer“，运行Zookeeper
出现下图，说明本地Zookeeper启动成功

安装Kafka

1,下载kafaka的二进制版本
kafka:http://kafka.apache.org/downloads
清华镜像：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/
2，下载完之后解压进入kafaka的目录D:\kafka-2.2.2-src
3、 进入config目录找到文件server.properties并打开
4、 找到并编辑log.dirs=D:\Kafka\kafka_2.12-0.11.0.0\kafka-logs
5、 找到并编辑zookeeper.connect=localhost:2181
6、 Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181
7、 进入Kafka安装目录D:\Kafka\kafka_2.12-0.11.0.0，按下Shift+右键，选择“打开命令窗口”选项，打开命令行，输入：

    .\bin\windows\kafka-server-start.bat .\config\server.properties
    或bin\kafka-server-start.sh config\server.properties
1
2

测试以及使用

1，创建主题，进入安装目录：D:\kafka_2.12-2.5.0，按下Shift+右键，选择“打开命令窗口”选项，打开命令行，输入：

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
1

2,查看主题输入 .\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181

3，创建生产者

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
1

不要关闭这个窗口，同时创建消费者

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
1

此时，往生产者窗口写入消息，消费者窗口也能同步的接收到消息
查看topic：

 .\bin\windows\kafka-topics.bat --describe --zookeeper localhost:2181 --topic
test
1
2

6、 重要（操作日志的处理）：
kafka启动后，如果你去查看kafka所在的根目录，或者是kafka本身的目录，会发现已经默认生成一堆操作日志(这样看起来真心很乱)：
而且会不断生成不同时间戳的操作日志。刚开始不知所措，一番研究后，看了启动的脚本内容，发现启动的时候是会默认使用到这个log4j.properties文件中的配置，而在zoo.cfg是不会看到本身的启动会调用到这个，还以为只有那一个日志路径：
在这里配置一下就可以了，找到config下的log4j.properties：
将路径更改下即可，这样就可以归档在一个文件夹下边了，路径根据自己喜好定义：
另外如何消除不断生成日志的问题，就是同一天的不同时间会不停生成。
修改这里，还是在log4j.properties中：
本身都为trace，字面理解为会生成一堆跟踪日志，将其改为INFO即可。

参考网址：
https://blog.csdn.net/weixin_38004638/article/details/91893910