【项目】仿牛客网社区开发 第5章 Kafka 构建TB级异步消息系统 2 Kafka入门_仿牛客kafuka

【项目】仿牛客网社区开发

第5章 Kafka 构建TB级异步消息系统

2 Kafka入门

• Kafka简介
  • Kafka是一个分布式的流媒体平台。
  • 应用：消息系统【这是我们在项目中会用到的】、日志收集、用户行为追踪、流式处理。
• Kafka特点
  • 高吞吐量、消息持久化、高可靠性、高扩展性。
• Kafka术语
  • Broker【服务器】、Zookeeper【管理其他集群，其实是个独立的组件，但是Kafka 也内置了一个】
  • Topic【主题：发布/订阅模式】、Partition【分区】、Offset 【消息在分区中存放的索引位置】
  • Leader Replica【主副本】 、Follower Replica【从副本】

Kafka 官网：http://kafka.apache.org/

下载安装：

今天是2023年4月22日，kafka 官网最新版本是 3.4.0，和老师用差不多的吧，2.x 系列

来个2.8.2

注意kafka 不分操作系统，都是一个包【就是下载下来后，既有Windows，也有Linux】

绿色软件，直接解压

先进行一些配置

它原本的是Linux 的目录，这里改到自己D 盘，目录会在运行的时候自己创建

然后还有一个是

这个

还是目录的事儿，这样就行了

cmd cd 到kafka 的解压目录

bin\windows\zookeeper-server-start.bat config\zookeeper.properties
1

这样zookeeper 就起来了，再开一个cmd

bin\windows\kafka-server-start.bat config\server.properties
1

OK，

文件夹也生成了

再开一个cmd ，创建主题

kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

查看所有主题 kafka-topics.bat --list --bootstrap-server localhost:9092

向test 主题发送消息 kafka-console-producer.bat --broker-list localhost:9092 --topic test

这样相当于是启动了一个生产者

发了两个消息

再启一个cmd，当消费者

kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning

拿到了

现在就是左边是生产者， 右边是消费者

再来一个

没问题。

【这里有一些老师的提示】

关于Kafka使用的重要提示
现象：在windows的命令行里启动kafka之后，当关闭命令行窗口时，就会强制关闭kafka。这种关闭方式为暴力关闭，很可能会导致kafka无法完成对日志文件的解锁。届时，再次启动kafka的时候，就会提示日志文件被锁，无法成功启动。

方案：将kafka的日志文件全部删除，再次启动即可。

建议：不要暴力关闭kafka，建议通过在命令行执行kafka-server-stop命令来关闭它。

其他：将来在Linux上部署kafka之后，采用后台运行的方式，就会避免这样的问题。

在命令行中调用zookeeper-server-stop.bat关闭zookeeper，在命令行中调用kafka-server-stop.bat关闭kafka。每次运行项目之前，都要保证他们是启动的状态。

好的记住了