virtio-net 实现机制【一】（图文并茂）_virtnet60

1. 基于virtio的半虚拟化概述

1.1 virtio运行结构

① virtio表示虚拟化IO，用于实现设备半虚拟化，即虚拟机中运行的操作系统需要加载特殊的驱动（e.g. virtio-net）且虚拟机知道自己是虚拟机

相较于基于完全模拟的全虚拟化，基于virtio的半虚拟化可以提升设备访问性能

② 运行在虚拟机中的部分称为前端驱动，负责对虚拟机提供统一的接口

③ 运行在宿主机中的部分称为后端驱动，负责适配不同的物理硬件设备

1.2 virtio架构层次

1.2.1 virtio前端驱动

① 运行在虚拟机中

② 针对不同类型的设备有不同的驱动程序，但是与后端驱动交互的接口都是统一的

③ 本文分析virtio-net模块，源码位于drivers/net/virtio_net.c

1.2.2 virtio层

① virtio层实现虚拟队列接口，作为前后端通信的桥梁

② 不同类型的设备使用的虚拟队列数量不同，比如virtio-net使用两个队列，一个用于接收，另一个用于发送

③ 源码位于drivers/virtio/virtio.c

1.2.3 virtio-ring层

① virtio-ring层是虚拟队列的具体实现

② 源码位于driver/virtio/virtio_ring.c

1.2.4 virtio后端驱动

① 运行在宿主机中

② 实现virtio后端的逻辑，主要是操作硬件设备，比如向内核协议栈发送一个网络包完成虚拟机对于网络的操作

③ 在Qemu + KVM虚拟化环境中，源码位于Qemu源码中（尚未详细分析）。后续将分析seL4中的后端实现

【文章福利】小编在群文件上传了一些个人觉得比较好得学习书籍、视频资料，有需要的可以进群【977878001】领取！！！额外赠送一份价值699的内核资料包（含视频教程、电子书、实战项目及代码）

内核资料直通车：Linux内核源码技术学习路线+视频教程代码资料

学习直通车：Linux内核源码/内存调优/文件系统/进程管理/设备驱动/网络协议栈

2. Linux virtio核心数据结构

2.1 virtio_bus结构

struct bus_type是基于总线驱动模型的公共数据结构，定义新的bus，就是填充该结构。virtio_bus定义在drivers/virtio/virtio.c中，具体如下，

说明1：注册virtio_bus

virtio_bus以core_initcall的方式被注册，该方式注册的启动顺序优先级很高（作为对比，module_init最终对应的是device_initcall），在使用中要注意不同组件的启动顺序

说明2：virtio_dev_match函数

virtio驱动的match涉及到virtio_device_id结构，在virtio_device结构中包含该结构；在virtio_driver中则是包含该驱动支持的virtio_device_id列表

具体的match流程如下，

可见virtio驱动的match函数先匹配device字段，后匹配vendor字段，二者都满足条件时match成功

补充：从virtio_dev_match的流程可以看出，virtio_driver中的id_table必须以id->device = 0结尾，以便结束循环

2.2 virtio_device结构

struct virtio_device定义在include/linux/virtio.h中，具体如下，

重点说明如下4个字段，

2.2.1 struct virtio_device_id id

其中的device成员标识了当前virtio_device的用途，virtio-net是其中的一种，

2.2.2 const struct virtio_config_ops *config

virtio_config_ops操作集中的函数主要与virtio_device的配置相关，主要有如下2类操作，

① 实例化 / 反实例化virtqueue，其中要特别注意find_vqs函数，该函数用于实例化virtio_device所持有的virtqueue

②. 获取 / 设置virtio_device的属性与状态，相关属性均在虚拟机虚拟出的PCI配置空间

2.2.3 struct list_head vqs

virtio_device持有的virtqueue链表，virtio-net中建立了2条virtqueue（虚拟队列）

2.2.4 u64 features

virtio_driver & virtio_device同时支持的通信特性，也就是前后端最终协商的通信特性

2.3 virtio_driver结构

struct virtio_driver定义在include/linux/virtio.h中，具体如下，

重点说明如下4个字段，

2.3.1 const struct virtio_device_id *id_table

对应virtio_device结构中的id成员，virtio_device中标识的是当前device的id属性；而virtio_driver中的id_table则是当前driver支持的所有id列表

2.3.2 const unsigned int *feature_table & unsigned int feature_table_size

feature列表包含了当前driver支持的所有virtio传输属性，feature_table_size则说明属性数组的元素个数

2.3.3 probe函数

virtio_driver层面注册的probe函数，如上文所述，virtio_bus层面也注册了probe函数，在Linux总线驱动框架 & virtio核心层中，当virtio_device & virtio_driver匹配成功后，先调用bus层面的probe函数，在virtio_bus层面的probe函数中，又调用了virtio_driver层面的probe函数

2.4 virtqueue结构

2.5 vring结构

2021 08 / 06补充：一定要结合一个后端驱动进行分析，可以对照rpmsg-lite分析

可以就分析rpmsg-lite对virtqueue的操作部分，不用上升到rpmsg协议的部分

说明1：vring的三个构成区域

① Destcriptor Table：描述内存buffer，主要包括addr & len等信息

② Avail Ring：用于前端驱动（Guest）通知后端驱动（Host）有可用的描述符

e.g. 前端驱动有一个报文需要发送，需要将其加入Avail Ring，之后通知后端驱动读取

③ Used Ring：用于后端驱动（Host）通知前端驱动（Guest）有可用的描述符，或者是后端驱动已将前端驱动提供的描述符使用完毕

e.g. 后端驱动有一个报文需要发送，需要将其加入Used Ring，之后通知前端驱动读取

可见avail & used的命名都是站在Host的角度进行的

说明2：vring的存储

vring结构只是用于描述vring在内存中的布局（因此包含的都是指针变量），实际用于通信的vring是存储在内存中

上文提到的vring的三个区域是在内存中连续存储的，而且是存储在Guest & Host共享的一片连续内存中

我们可以通过vring_init函数理解vring存储结构的布局

实际vring的内存布局如下图所示，

在计算used ring的起始地址时，在avail->ring[num]的地址之后又加了sizeof(__virtio16)，也就是增加了2B，是为了容纳avail ring末尾的used_event，该机制详见下文（是一种控制中断触发频率的机制）

说明3：实际vring的大小

实际vring的大小可以通过vring_size函数获得

① 计算avail ring时加3，分别为flags、idx和used_event

② 计算used ring时加3，分别为flags、idx和avail_event

③ 计算过程中，包含了为满足对齐要求padding的空间

说明4：used_event与avail_event机制概述

这2个字段均与virtio设备的VIRTIO_RING_F_EVENT_IDX特性有关，由于virtio驱动触发对方中断将导致CPU反复进出虚拟机 & 宿主机模式，从而降低性能，因此需要控制触发中断频率的机制

① avail ring中的used_event

a. 由前端驱动（Geust）设置，标识希望后端驱动（Host）触发中断的阈值

b. 后端驱动（Host）在向Used Ring加入buffer后，检查Used Ring中的idx字段，只有达到阈值才触发中断

② used_ring中的avail_event

a. 由后端驱动（Host）设置，标识希望前端驱动（Guest）触发中断的阈值

b. 前端驱动（Guest）在向Avail Ring加入buffer后，检查Avail Ring的idx字段，只有达到阈值才触发中断

综上所属，vring结构的构成如下图所示，

2.6 vring_virtqueue结构

vring_virtqueue结构用于描述前端驱动（Guest）中的一条虚拟队列

总结：virtio_device / vring_virtqueue / virtqueue / vring结构之间的关系

3. virtio操作

如上文所述，virtio框架向虚拟机中的前端驱动提供了统一的IO操作接口，我们下面就分析这些操作

在理解了virtio的操作之后，配合不同虚拟设备的属性，就比较容易理解虚拟设备前端驱动的实现。比如virtio-net就是网卡驱动 + virtio操作

3.1 创建virtqueue

3.1.1 核心流程梳理（重点）

3.1.1.1 virtio_pci_probe阶段

在virtio框架中，首先向虚拟机注册的是一个pci_driver，后续所有vitio设备均是以虚拟pci设备的形式注册，因此第1步流程即是运行virtio_pci_probe函数

3.1.1.2 virtio_pci_modern_probe阶段

在virtio_pci_probe函数中，会调用virtio_pci_modern_probe函数，进行进一步初始化

在virtio_pci_modern_probe函数中会进行2步非常重要的操作，

① 设置virtio_device中的virtio_config_ops回调函数集合，其中就包括了最重要的find_vqs回调函数

② 设置setup_vq回调函数，该回调函数会在find_vqs回调函数中被调用

所以在初始化virtqueue的过程中，是先调用find_vqs回调函数，后调用setup_vq回调函数

3.1.1.3 find_vqs回调函数阶段

在virtio_pci_probe的最后阶段，会注册virtio_device，该操作会触发virtio驱动的probe函数被调用，在该函数中，会触发find_vqs回调函数被调用

下面我们以virtio-net前端驱动为例，说明创建virtqueue的流程

  
  

    
    

     
     

    
    
    
    

     
     

      
       virtio_pci_probe
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
      --
      
      > virtio_pci_modern_probe
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
          
      
      /
      
      / 设置find_vqs回调函数
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
          
      
      /
      
      / 设置setup_vq回调函数
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
      --
      
      > register_virtio_device 
      
      /
      
      / 触发virtio probe函数被调用
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
        
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
      /
      
      / virtio probe函数阶段
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
      virtio_dev_probe
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
          
      
      /
      
      / 调用virtio_driver注册的probe函数
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
      --
      
      > virtnet_probe
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
        --
      
      > init_vqs
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
              
      
      /
      
      / 分配virtqueue结构（
      
      send_queue 
      
      & recv_queue）
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
          --
      
      > virtnet_alloc_queues
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
          --
      
      > virtnent_find_vqs
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
            --
      
      > find_vqs回调函数（vp_modern_find_vqs）
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
              --
      
      > vp_find_vqs
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                --
      
      > vp_find_vqs_msix 
      
      /
      
      / 还注册了vring_interrupt
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                  --
      
      > vp_setup_vq
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                    --
      
      > setup_vq回调函数（setup_vq）
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                      --
      
      > vring_create_virtqueue
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                            
      
      /
      
      / 分配存储vring的连续物理内存
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                        --
      
      > vring_alloc_queue
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                            
      
      /
      
      / 生成vring_virtqueue结构，并初始化
     
     
    
    

    
    

     
     

    
    
    
    

     
     

      
                        --
      
      > __vring_new_virtqueue
     
     
    
    
  
  
1

下面我们就分析最核心的几个函数

3.1.2 setup_vq函数分析

setup_vq函数有如下3个核心步骤，

3.1.2.1 检查virtqueue配置参数

前端驱动读取PCI配置空间中的参数，判断其合法性

其中要注意virtqueue的长度（queue_size）必须是2的幂次，因为后续需要通过简单的位与运算实现绕回

3.1.2.2 实际生成virtqueue

实际生成virtqueue通过vring_create_virtqueue函数实现，此处需要注意如下3点，

① 对齐要求

如上文所述，vring结构在内存布局上有对齐要求，该要求在创建virtqueue时传递，就是此处的SMP_CACHE_BYTES宏

② notify hook函数

notify hook函数用于前端驱动（Guest）触发后端驱动（Host）中断，通知其有数据需要处理

这里的notification register也在PCI配置空间中，该地址在setup_vq函数中指定

③ callback hook函数

callback hook函数在virtqueue被触发时调用，以virtio-net驱动为例，callback hoot函数在virtnet_find_vqs函数中指定

3.1.2.3 同步GPA到宿主机

virtqueue作为前端驱动与后端驱动的交互媒介，需要在虚拟机和宿主机中同步这段共享内存的地址

调用vring_create_vritqueue函数生成的virtqueue，分配的内存为GPA，需要将其同步到宿主机，宿主机才能将其转换为HVA使用（因为虚拟机的GPA就是宿主机分配的）

3.1.3 vring_create_virtqueue函数分析

可见vring的内存被分配在连续的1个或多个page中，而且如果内存条件不满足，会动态调整vring的长度（num变量）

3.1.4 __vring_new_virtqueue函数分析

__vring_new_virtqueue函数的实现注释已经比较清楚了，需要说明的是，该函数返回的是virtqueue结构。在Linux的virtio层实现中，代码会根据需要在virtqueue与vring_virtqueue结构间进行转换

3.2 前端驱动发送数据

3.2.1 流程概要

step 1：从descriptor table中取出描述符

step 2：根据要发送的数据填充并组织描述符

step 3：将组织好的描述符加入avail ring

step 4：触发后端驱动中断，通知其处理数据

说明：vring的描述符结构与scatterlist结构是绝配

3.2.2 virtqueu_add函数分析

前端驱动发送数据的核心为virtqueue_add函数，下面给出该函数的分析

上面的截图很壮观，下面通过一张图展现该过程，

说明1：可见virtqueue_add函数封装了一次数据请求，所有out & in请求均组织为一个decriptor chain提交到avail ring

从上文分析可见，如果将out & in数据请求组织在一起，将使得接收端的处理逻辑非常复杂。因此在实际使用中（e.g. virtio-net，rpmsg），一般为out & in的数据请求单独建立virtqueue，即输入和输出使用不同的虚拟队列

说明2：由上图可知，descriptor table以静态链表的方式管理，因此空闲链表中各个描述符在物理上不一定是连续的，而是依靠描述符中的next域维护链接关系

说明3：对virtqueue_add函数的使用

virtqueue_add函数被封装为如下4种方式供前端驱动调用，

① virtqueue_add_sgs

可以同时提交out & in数据请求，且个数可设置

② virtqueue_add_outbuf

只提交一个out数据请求

③ virtqueue_add_inbuf

只提交一个in数据请求

④ virtqueue_add_inbuf_ctx

只提交一个in数据请求，且携带上下文信息

注意：ctx上下文信息与inderect特性是互斥的

3.3 前端驱动触发中断

前端驱动通过virtqueue_kick函数通知后端驱动有数据需要处理

其中virqueue_kick_prepare函数判断是否需要触发中断，virtqueue_notify函数实际触发中断

3.3.1 virtqueue_kick_prepare函数分析

说明：vring_need_event函数实现

只有当event_idx在[old, new - 1]范围时，才会允许触发中断

3.3.2 virtqueue_notify函数分析

virtqueue_notify会调用上文介绍的notify回调函数，实现对后端驱动的通知，在本文环境中，该回调函数为vp_notify函数

3.4 前端驱动被触发中断

3.4.1 注册中断处理函数

在创建virtqueue时，会为每条virtqueue注册中断，可参考vp_find_vqs_msix函数

可见中断处理函数为vring_interrupt，注意这里注册的是msi中断

3.4.2 vring_interrupt函数分析

vring_interrupt函数的核心操作是调用创建virtqueue时注册的callback回调函数，以virtio-net模块为例，接收和发送队列注册的callback回调函数如下

3.5 前端驱动接收数据

3.5.1 virtqueue_get_buf_ctx函数分析

说明：virtqueue_get_buf_ctx函数的返回值为vq->desc_state[i].data，该值在调用virtqueue_add时设置

virtqueue_add写入该值，目的就是用于索引buffer（the token identifying the buffer）

3.5.2 补充：对vring_desc_state desc_state结构中data成员的使用

3.5.2.1 在vring_virtqueue结构中定义

如上文所述，在vring_virtqueue结构中定义了desc_state数组，根据注释，该结构描述了每个描述符的状态（更好的理解是每个描述符有一个）

数组大小为virtqueue大小，空间随vring_virtqueue结构一同分配，该数组用于存储每次数据传输请求的上下文

vring_desc_state结构如下，

我们这里就是讨论其中data成员的使用

3.5.2.2 在virtqueue_add函数中设置

这里注意2点，

① 填入data的值

此处填入的值为virtqueue_add函数的入参data

② 填入desc_state数组的下标

此处使用的下标为head，为本次数据请求的chain descriptor的首个描述符下标

3.5.2.3 在virtqueue_get_buf_ctx中读取

此处使用的下标i是used ring中取出的chain descriptor中首个描述符的下标，这里对应了一次vritqueue_add加入的数据请求

此处就将当时virtqueue_add函数写入的data作为返回值

说明：这里就可以看出virtio机制设计的巧妙之处，后端驱动在使用不同的chain descriptor后不需要按取出的顺序归还

这里有2点机制上的保障，

① descriptor table使用静态链表方式管理

② desc_state数组按描述符管理

3.5.3 detach_buf函数分析

最终给出一张图，就是虚拟机和宿主机指向同一段内存，以实现二者之间的交互