kafka概念学习_kafka groupid topic

group_id和group_id：互不干涉。

consumer和group_id：一个group_id可以包括多个consumer，一个consumer只能属于一个group_id。

group_id和topic：一个group_id可以包括1个或多个topic，一个topic也可以分配到1个或多个group_id。一般情况下，一个group_id包括1个topic。

topic和partition：一个topic可以包括1个或多个partition。当然一个partition只能属于一个topic。

producer和topic和partition：生产者可以向某个topic生产消息，并根据key分配到规则制定的一个或多个partition中。

consumer和group_id和partition和offset：每个group_id为每个topic的每个partition维护了一个offset，保证单个partition中消息有序消费（所以一个topic同一时刻只能有一个消费者消费，除非rebalance）。

要想整个topic的消息消费有序，就需要只一个partition。

新增的group_id，维护每个topic的每个partition的初始offset，根据AutoOffsetReset配置可以是：latest/earliest。

生产者两个配置：

1，ack：0/1/-1，0表示生产者不需要等待来自服务器的任何确认，1则表示生产者需要来自服务器的确认消息，-1表示生产者需要等待来自所有副本的确认消息。

2，同步发送和异步发送：

• 同步方式，同一个进程中一定是逐条发送的，第一条响应到达后，才会请求第二条
• 异步方式，可以发送一条，也可以批量发送多条，特性是不需等第一次(注意这里单位是次，因为单次可以是单条，也可以是批量数据)响应，就立即发送第二次

消费者Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets），也有两个配置

1，enable.auto.commit (bool)：所谓自动提交，就是指Kafka Consumer 在后台默默地为你提交位移，作为用户的你完全不必操心这些事；而手动提交，则是指你要自己提交位移，Kafka Consumer 压根不管。

2，auto.commit.interval.ms(int) 多久自动提交一次