VFIO(Virtual Function IO)研究

Linux阅码场

发布于 2021-04-22 15:10:06

4.6K0

发布于 2021-04-22 15:10:06

文章被收录于专栏：LINUX阅码场LINUX阅码场

主要研究VFIO在虚拟化中的应用,但VFIO的应用不止于虚拟化.

VFIO的全称是Virtual Function IO,但这个名字并不能反应它的特点,以下两个假名字更能反应VFIO的特点:

Very Fast IO

由于VFIO是将设备直接透传给虚拟机,所以Guest中与该设备相关的IO性能会大幅提高,接近native性能.

Versatile Framework for userspace IO

这个名字反映了VFIO的功能,即能够将device安全地映射到用户空间,使用户能够对device进行操作.

研究目的

研究利用-device vfio-pci的方式将PCI透传到虚拟机中后,在虚拟机中访问PCI设备的配置空间,MMIO寄存器,IO Port的流程是怎样的.

VFIO原理

VFIO把设备通过IOMMU映射的DMA物理内存地址映射到用户态中,让用户态程序可以自行操纵数据的传输,还可以自行注册中断处理函数,从而在用户态下实现设备的驱动程序.

因此VFIO的基础是IOMMU.

IOMMU

基础功能

地址翻译

IOMMU可以将能直接访问memory的IO总线(DMA–capable)连接到RAM中.

与传统的MMU功能类似,MMU能将CPU使用的虚拟地址转化为物理地址,而IOMMU能将device使用的虚拟地址(也称为设备地址或者IO地址)转化为物理地址.

如果没有IOMMU,DMA也能直接访问RAM中的内容,但是让DMA没有限制地访问RAM是一件很危险的事情,而IOMMU能够对这个过程加以限制,当DMA访问的地址合法时,IOMMU才返回正确的数据.

硬件中断重映射

除了翻译地址的功能,IOMMU还能对硬件中断进行重映射,达到屏蔽部分中断,或自定义中断处理函数的目的.

设备隔离

基于地址翻译和硬件中断重映射两大功能,IOMMU就具有了隔离设备的能力,这提高了设备访问RAM时和设备发出中断时的安全性.

除了将单个设备隔离的功能外,IOMMU还能隔离一组设备,如隔离PCI桥上的几个设备,所以IOMMU还有一个概念,叫做IOMMU_GROUP, 代表一组被隔离的设备的集合.

通过把host的device和对应driver解绑,然后绑定在VFIO的driver上,就会在/dev/vfio/目录下出现一个group,这个group就是IOMMU_GROUP号,如果需要在该group上使用VFIO,需要将该group下的所有device与其对应的驱动解绑.

VFIO Container

在IOMMU_GROUP的基础上,VFIO封装了一层Container Class,Container的作用是,当我们想在不同的IOMMU_GROUP之间共享TLB和page tables(用于地址翻译的页表)时,就将这些group放到同一个container中,因此Container可以看做是IOMMU_GROUP的集合.

虚拟化中VFIO的应用

这里演示一个将网卡设备利用VFIO透传到虚拟机中的例子.需要注意的是,利用VFIO将PCI设备透传到虚拟机之后,Host将无法使用该设备.

虚拟机默认网卡

首先利用默认qemu选项启动虚拟机后,查看lspci的输出,看看虚拟机默认使用的网卡是什么?

可以看到虚拟机默认的网卡是Intel的82540EM,是由Qemu-kvm软件模拟出来的一款网卡.

将Host的PCI网卡透传到虚拟机

首先在Host上使用lspci查看拥有的PCI网卡型号,可以看到Realtek的一款网卡,该网卡的PCI标记为06:00.0.

要使用VFIO,必须在Linux启动时添加启动项intel_iommu=on,因为VFIO的底层依赖IOMMU.

加载VFIO-PCI module

sudo modprobe vfio-pci

如果加载成功,可以在dmesg中看到相关log.

查看网卡所在的IOMMU Group

$ readlink /sys/bus/pci/devices/0000:06:00.0/iommu_group
../../../../kernel/iommu_groups/3

可以看到该Realtek网卡位于iommu_group的group3.

查看设备所在iommu_group的所有设备

$ ls /sys/bus/pci/devices/0000:06:00.0/iommu_group/devices/
0000:00:05.0  0000:00:05.1  0000:06:00.0

可以看到在iommu_group3中,除了该Realtek网卡,还有2个设备.

将设备与对应的驱动解绑

为了将设备透传到虚拟机中,需要将设备与其对应的驱动解绑,这样该设备就可以使用VFIO的驱动了.注意,不仅要将要透传的设备解绑,还要将与设备同iommu_group的设备都解绑,才能透传成功.

$ echo 0000:06:00.0 | sudo tee /sys/bus/pci/devices/0000:06:00.0/driver/unbind
0000:06:00.0
$ echo 0000:00:05.0 | sudo tee /sys/bus/pci/devices/0000:00:05.0/driver/unbind
0000:00:05.0 
$ echo 0000:00:05.1  sudo tee /sys/bus/pci/devices/0000:00:05.1/driver/unbind
0000:00:05.1

查看设备的Vendor和DeviceID

$ lspci -n -s 06:00.0
06:00.0 0200: 10ec:8168 (rev 15)

可以看到该Realtek网卡的Vendor为10ec,DeviceID为8168.

将设备绑定到vfio-pci module

$  echo 10ec 8168 | 
sudo tee /sys/bus/pci/drivers/vfio-pci/new_id
10ec 8168

可以通过ls /dev/vfio查看是否绑定成功,如果绑定成功,/dev/vfio目录下会出现该device所属的iommu_group号.

这里的3就是我们要透传的Realtek网卡所在的iommu_group号.

启动虚拟机

$ sudo x86_64-softmmu/qemu-system-x86_64 
-m 4096 -smp 4 -hda ~/ewan/Workspace/img/Ubuntu18.04_loop.img
-enable-kvm -cpu host -device vfio-pci,host=06:00.0