当前位置:   article > 正文

kafka消费者_Kafka如何并行化大于分区数量的消费者

kafka消费者多于分区

正如我在上一篇文章中提到的那样,Kafka实现并行性的方法是在一个组中拥有多个消费者。 这样可以扩展使用方,但是这种扩展不能超出分区数,因为一个分区最多可以分配给一个组中的一个使用方。 解决此问题的一种简单方法是为主题设置较高的分区。 这可能会产生自己的影响。

我们面临着类似的挑战,其中通过在一个小组中运行多个使用者而实现的并行性还不够。 我们一直在寻求超越这一范围的规模。

问题?

在我们的使用者中,我们正在接收流中的记录并进行API调用。 在回应中,我们确认了该记录,并移至下一个记录。

尽管我们遇到的最终用户可以处理大量并行请求,但我们发出的并行请求数量仅与我们的使用者/分区一样多。 我们被限制为只能发出与我们的使用者/分区一样多的并行请求,因为在任何时间点,我们每个使用者都仅发出一个请求。

我们没有利用我们的端点来处理大量并行请求,而这远远超出了我们发出的并行请求的数量。

我们已经有相当数量的分区,我们不想增加更多。 当我们研究时,是否有增加并行性而不增加分区数量的方法。 我们遇到了一些切实可行的好建议。

解决方案:

Kafka的消费者不仅可以实现分区数量的并行化,甚至可能吗? 是的,我们可能无法运行超过分区数量的更多使用者。 但是,并行处理也可以通过并行处理使用者中的多个记录来实现。 除了将使用者增加到并行处理之外,我们还并行处理了每个使用者中的记录。

使用者中可能只有一个使用者线程。 但是,我们可以产生多个应用程序线程来处理那些接收到的记录。

我们是如何实现的?

· 如果必须并行处理多个记录,这意味着我们需要分批接收记录,而不是单个记录。 因此,我们批

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/很楠不爱3/article/detail/657726
推荐阅读
相关标签
  

闽ICP备14008679号