kafka内存缓冲池机制造成的频繁GC问题_kafka gcc 频繁

kafka发送消息时，会将多条消息组成一个batch再进行批量发送，这样做的目的是可以提高kafka的吞吐量，不必每次来一条消息就进行一次网络请求，那么这些批量的消息发送出去后，必然还存在于内存中，等待的将是JVM的GC，当消息越来越多时，带来的问题就是频繁的GC，也就是会造成频繁的STW。

针对上述问题，于是kafka就设计出了缓冲池的概念，kafka先将一片内存区域固定下来专门用于存放batch，每次从缓冲池申请batch，使用完后再还回缓冲池，这样就避免了每次对于batch的申请与回收，解决了JVM 频繁GC的问题。

当缓冲池满了以后，也就是说消息写入的速度大于向broker发送的速度，那么就阻塞写入，直到缓冲池中有空余内存时为止。