凡人多烦事01

这个屌丝很懒，什么也没留下！

热门标签

PVE GPU Pass Through（pve显卡直通）

作者：凡人多烦事01 | 2024-03-02 14:19:15

踩

pve显卡直通

问题记录2023-8-31

近期遇到添加的显卡的虚拟机启动不起来状态如下

状况1：虚拟机的控制台一直处于这种状态虚拟机运行状态是黄色感叹号⚠️

状况2：虚拟机的控制台显示guest has not initialzed the display (yet) 虚拟机运行状态是黄色感叹号⚠️

排查过程中发现在硬件中把pci的显卡给去掉后就可以正常运行。问题锁定显卡直通存在问题，然后在网上查到一个帖子，说其实7.0后就不用设置这么多配置和参数了，只需要

/etc/default/grub文件

#找到： GRUB_CMDLINE_LINUX_DEFAULT="quiet"

#然后修改为： GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"

修改完配置文件后执行update-grub更新一下grub配置文件

至此问题解决。

显卡直通

原理和流程

最底层：打开主机Bios下的最底层直通开关VT-D；

PVE系统层：打开PVE系统的IOMMU支持，大概意思是PVE系统级别的开关；

PVE系统层：关闭PVE系统对显卡的调用，腾出来给虚拟机用；

虚拟机层：配置要用显卡的虚拟机，让他去调用显卡；

虚拟系统层：让Windows系统装上显卡的驱动，让虚拟机系统能调用下卡；

最底层开启VT（虚拟化技术）

最底层：打开主机Bios开启VT（Virtualization Technology）

由于不同品牌主机开启VT的方法不同请自行百度

PVE设置

进入pve命令行界面

修改/etc/default/grub文件

并在里面找到GRUB_CMDLINE_LINUX_DEFAULT="quiet" 这一行将这一行替代成，目的是开启底层的硬件直通功能

GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt video=efifb:off,vesafb:off"

注意如果是AMD的处理器是不一样的内容，

添加完毕后，我们更新一下grub配置文件输入命令 update-grub

然后找到配置文件/etc/modules 在结尾添加内容，打开pci硬件的直通

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

上述就完成了PVE层的PCI直通设置，加下来我们将PVE系统禁止加载显卡驱动，目的是不与需要显卡直通的虚拟机冲突争夺HDMI通道，找到这个路径

/etc/modprobe.d/ pve-blacklist.conf 添加一下

blacklist radeon
blacklist nouveau
blacklist nvidia

其他参数


# 允许不安全的中断
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
 
# 忽略异常，防止虚拟机异常导致宿主机崩溃
#   ignore_msrs             :   忽略异常
#   report_ignored_msrs     :   是否报告异常
echo "options kvm ignore_msrs=1 report_ignored_msrs=0" > /etc/modprobe.d/kvm.conf

输入命令 lspci -nn，查找所有PCI总线的所有设备的供应商ID和设备ID

找到显卡的设备ID（如：[10de:2204]）并复制

01:00.0 VGA compatible controller [0300]: NVIDIA Corporation GA102 [GeForce RTX 3090] [10de:2204] (rev a1) 这行是显卡记住设备ID

01:00.1 Audio device [0403]: NVIDIA Corporation GA102 High Definition Audio Controller [10de:1aef] (rev a1) 这行是声卡记住设备ID

找到目录 /etc/modprobe.d/ 并在目录下新建一个vfio.conf的文件

在内容里面填入 options vfio-pci ids=10de:2204,10de:1aef

options vfio-pci ids=设备ID,设备ID

完成上面的配置文件修改后，输入命令让系统更新配置 update-initramfs -u

接着，我们通过命令重启一下设备重启命令reboot

重启的过程中，我们观察一下主机输出的HDMID显示，如果看上去卡着不动，无法进入到PVE 的登陆命令行界面，表示你禁用显卡成功了，可以继续下面的操作，

如果会显示输入命令行的界面，那就表示没有成功禁用显卡，还需要回炉重来。

PVE重启后，我们来验证一下PVE层的显卡直通是否已经开启

使用Xshell连接PVE 输入命令 lsmod | grep vfio

如果出现回调这样类似的信息，表示成功了

vfio_pci               57344  1
vfio_virqfd            16384  1 vfio_pci
irqbypass              16384  4 vfio_pci,kvm
vfio_iommu_type1       40960  1
vfio                   36864  5 vfio_iommu_type1,vfio_pci