赞
踩
在实际应用中,如果我们需要把磁盘中的某个文件内容发送到远程服务器上,如图
那么它必须要经过几个拷贝的过程,如图(贴图)。
在这个过程中我们可以发现,数据从磁盘到最终发送出去,要经历 4 次拷贝,而在这四 次拷贝过程中,有两次拷贝是浪费的,分别是:
从内核空间赋值到用户空间
从用户空间再次复制到内核空间 除此之外,由于用户空间和内核空间的切换会带来 CPU 的上线文切换,对于 CPU 性能 也会造成性能影响。
而零拷贝,就是把这两次多于的拷贝省略掉,应用程序可以直接把磁盘中的数据从内核 中直接传输给 Socket,而不需要再经过应用程序所在的用户空间,如下图所示。
零拷贝通过 DMA(Direct Memory Access)技术把文件内容复制到内核空间中的 Read Buffer,
接着把包含数据位置和长度信息的文件描述符加载到 Socket Buffer 中,DMA 引擎直 接可以把数据从内核空间中传递给网卡设备。 在这个流程中,数据只经历了两次拷贝就发送到了网卡中,并且减少了 2 次 cpu 的上 下文切换,对于效率有非常大的提高。
所以,所谓零拷贝,并不是完全没有数据赋值,只是相对于用户空间来说,不再需要进 行数据拷贝。对于前面说的整个流程来说,零拷贝只是减少了不必要的拷贝次数而已。
在Kafka中,零拷贝主要体现在JVM层面对操作系统提供的系统调用的封装和使用上,并不是通过Java代码直接体现。例如,在处理网络传输时,Kafka依赖于Linux的sendfile()
系统调用来实现零拷贝,而在Java中,这部分逻辑会隐藏在NIO或者Apache Kafka内部的网络通信模块中,不会直接暴露在应用层代码中。
以下是一个简化的示例,演示如何在Java NIO中尝试使用transferTo()方法,该方法底层可能会触发操作系统的sendfile系统调用实现零拷贝(取决于操作系统和JDK版本):
import java.io.FileInputStream; import java.io.IOException; import java.net.InetSocketAddress; import java.nio.channels.FileChannel; import java.nio.channels.SocketChannel; public class ZeroCopyExample { public static void main(String[] args) throws IOException { FileInputStream fis = new FileInputStream("large_file.txt"); FileChannel fileChannel = fis.getChannel(); SocketChannel socketChannel = SocketChannel.open(); socketChannel.connect(new InetSocketAddress("localhost", 9092)); // 假设这里连接的是Kafka Broker long position = 0; long count = fileChannel.size(); // 假设我们想要传输整个文件 while (count > 0) { long transferred = fileChannel.transferTo(position, count, socketChannel); if (transferred == 0) { throw new IOException("Transfer failed unexpectedly."); } position += transferred; count -= transferred; } fileChannel.close(); fis.close(); socketChannel.close(); } }
本次的面试题涉及到一些计算机底层的原理,以上就是我对于 Kafka 中零拷贝原理的理解
更多精彩内容请关注☄公众号: Coder无霸哥
不要让我们追赶知识, 要让知识追赶我们~
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。