Kafka原理详解（入门）_kafka 消费者没注册上

目录

 1、kafka是什么

2、使用场景

 3、架构原理

4、工作原理

 5、消息发送模式

6、消息存储方式

---

 1、kafka是什么

Kafka 是个分布式的、持分区的（partition）、多副本的 （replica），基于 zookeeper 协调的分布式消息系统，它最大的特性就是可以实时处理大量数据以满足各类需求场景：

• 日志收集：使用 Kafka 收集各种服务的日志，并通过 kafka 以统一接口服务的方式开放给各种 consumer，例如 hadoop、Hbase、Solr 等

• 消息系统：解耦和生产者和消费者、缓存消息等

• 用户活动跟踪：Kafka 经常被用来记录 web 用户或者 app 用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到 kafka 的 topic 中，然后订阅者通过订阅这些 topic 来做实时的监控分析，或者装载到 hadoop、数据仓库中做离线分析和挖掘

• 运营指标：Kafka 也经常用来记录运营监控数据，包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告

kafka的架构师jay kreps对于kafka的名称由来是这样讲的，由于jay kreps非常喜欢franz kafka,并且觉得kafka这个名字很酷，因此取了个和消息传递系统完全不相干的名称kafka，该名字并没有特别的含义。老外脑回路，半服。

2、使用场景

以用户下单购买商品的行为举例，在使用微服务架构时，我们需要调用多个服务。传统的调用方式是同步调用，这会存在一定的性能问题。

使用消息队列可以实现异步的通信方式，相比于同步的通信式，异步的式可以让上游快速成功，极大提高系统的吞吐量。在分布式系统中，通过下游多个服务的分布式事务的保障，也能保障业务执行之后的最终致性 ，所以kafka闪亮登场。

它常用来实现：异步处理、服务解耦、流量削峰。

异步处理 

随着业务的不断增加，通常会在原有的服务上添加上新服务，这样会出现请求链路越来越长，链路latency也就逐步增加。例如：最开始的电商项目，可能就是简简单单的扣库存、下单。慢慢地又加上了积分服务、短信服务等。链路增长不可避免的latency增加。

相对于扣库存、下单，积分和短信没必要恢复的那么及时。所以只需要在下单结束的时候结束那个流程，把消息传给消息队列中就可以直接返回响应了。而且短信服务和积分服务可以并行的消费这条消息。这样响应的速度更快，用户体验更好；服务异步执行，系统整体latency（相对使用同步机制而言）也下降了。