kafka消费者_Kafka如何并行化大于分区数量的消费者

正如我在上一篇文章中提到的那样，Kafka实现并行性的方法是在一个组中拥有多个消费者。 这样可以扩展使用方，但是这种扩展不能超出分区数，因为一个分区最多可以分配给一个组中的一个使用方。 解决此问题的一种简单方法是为主题设置较高的分区。 这可能会产生自己的影响。

我们面临着类似的挑战，其中通过在一个小组中运行多个使用者而实现的并行性还不够。 我们一直在寻求超越这一范围的规模。

问题？

在我们的使用者中，我们正在接收流中的记录并进行API调用。 在回应中，我们确认了该记录，并移至下一个记录。

尽管我们遇到的最终用户可以处理大量并行请求，但我们发出的并行请求数量仅与我们的使用者/分区一样多。 我们被限制为只能发出与我们的使用者/分区一样多的并行请求，因为在任何时间点，我们每个使用者都仅发出一个请求。

我们没有利用我们的端点来处理大量并行请求，而这远远超出了我们发出的并行请求的数量。

我们已经有相当数量的分区，我们不想增加更多。 当我们研究时，是否有增加并行性而不增加分区数量的方法。 我们遇到了一些切实可行的好建议。

解决方案：

Kafka的消费者不仅可以实现分区数量的并行化，甚至可能吗？ 是的，我们可能无法运行超过分区数量的更多使用者。 但是，并行处理也可以通过并行处理使用者中的多个记录来实现。 除了将使用者增加到并行处理之外，我们还并行处理了每个使用者中的记录。

使用者中可能只有一个使用者线程。 但是，我们可以产生多个应用程序线程来处理那些接收到的记录。

我们是如何实现的？

· 如果必须并行处理多个记录，这意味着我们需要分批接收记录，而不是单个记录。 因此，我们批