kafka的零拷贝（零复制）技术_kafka零拷贝

作者：你好赵伟 | 2024-02-13 13:24:48

踩

kafka零拷贝

1.传统的读取数据并发送到网络的步骤如下：

1.操作系统将数据从磁盘文件中读取到内核空间的页面进行缓存；
2.应用程序将数据从内核空间读入用户空间缓冲区；
3.应用程序将读到的数据协会到内核空间并放入socket缓冲区；
4.操作系统将数据从socket缓冲区复制到网卡接口，此时数据才能通过网络进行发送。

在这里插入图片描述

通常情况下，kafka的消息会有多个订阅者，生产者发布的消息会被不同的消费者多次消费，为了优化这个流程，kafka使用了“零拷贝技术”，如下：

在这里插入图片描述

“零拷贝技术”只用将磁盘文件的数据复制到页面缓冲区一次，然后将数据从页面的缓存直接发送到网络中（发送给不同的订阅者时，都可以使用同一个页面进行缓存），避免了重复复制操作。

如果有10个消费者，传统方式下，数据复制次数为4 * 10 = 40 次，而是用零拷贝技术只需要复制1 + 10 = 11 次，其中一次为从磁盘复制到页面缓存，10 次表示10个消费者各自读取一次页面缓存，由此可以看出kafka的效率是非常高的。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/80056