干货分享 | spdk技术简介和一些实践经验

01

导读

与机械硬盘相比，NVMe-ssd在性能、功耗和密度上都有巨大的优势，并且随着固态存储介质的高速发展，其价格也在大幅下降，这些优势使得NVMe-ssd在分布式存储中使用越来越广泛。由于NVMe-ssd的性能比传统磁盘介质高出很多，使得在整个IO处理过程中，软件部分占用的时间比例大大提升，成为制约存储系统性能的主要因素。为了充分发挥后端NVMe-ssd的性能，intel开发出了存储性能开发工具包-SPDK(Storage Performance Development Kit)，和RDMA一样，SPDK也采用了kernel bypass的思想，它提供了一整套工具和库，以实现高性能、全用户态、扩展性强的存储应用程序，旨在大幅缩减存储I/O栈的软件开销，将固态存储介质的性能发挥到极致。

本文先对SPDK 技术进行介绍，更好的了解其实现原理，深入理解其带来性能大幅提升的原因，然后给大家分享下中国移动云能力中心块存储团队将SPDK应用到分布式块存储软件BC-EBS上做的一些工作和使用经验。

02

SPDK技术简介

1、SPDK的整体架构

图1 / SPDK的架构（图片源自网络）

https://new.qq.com/omn/20190712/20190712A03GFB00.html

SPDK架构整体分为三层：

存储协议层：SPDK支持的存储应用类型。NVMe-oF target实现了NVMe-oF规范，对外提供基于NVMe协议的存储服务端，支持RDMA和TCP网络；iSCSI Target对外提供基于SCSI协议的存储服务端；vhost-scsi或vhost-blk对qemu提供后端存储服务，qemu可以基于SPDK提供的后端存储为虚拟机挂载virtio-scsi或virtio-blk磁盘。

存储服务层：SPDK bdev相当于内核通用块层，为不同后端设备（NVMe、AIO、RBD、VIRTIO 、ISCSI等）驱动提供通用的API接口。SPDK还在通用块层实现了QoS、磁盘阵列、逻辑卷管理等功能。

驱动层：为不同的后端存储设备提供驱动。图中把驱动细分成两层，和块设备强相关的放到了存储服务层，而把和硬件强相关部分放到了驱动层。

2、SPDK的工作机制

为了更好理解SPDK能实现高性能的原因，我们以下图中的场景为例，分析SPDK工作过程，详解工作过程中用到的关键技术。

图2 / SPDK的工作机制

在图中，一台服务器上插了一张NVMe-ssd卡，划分两个namespace（对操作系统而言