IOMMU(四)-dma remapping

惠伟

发布于 2022-04-28 17:42:59

2.1K0

发布于 2022-04-28 17:42:59

DMA remapping就是在DMA的过程中IOMMU进行了一次转换，MMU把CPU的虚拟地址(va)转换成物理地址(pa)，IOMMU的作用就是把DMA的虚拟地址(iova)转换成物理地址(pa)，MMU转换时用到了pagetable，IOMMU转换也要用到io pagetable，两者都是软件负责创建pagetable，硬件负责转换。IOMMU的作用就是限制DMA可操作的物理内存范围，当一个PCI设备passthrough给虚拟机后，PCI设备DMA的目的地址是虚拟机指定的，必须要有IOMMU限制这个PCI设备只能操作虚拟机用到的物理内存。

intel vt-d spec是IOMMU的标准，标准中一个domain就是一个隔离的空间，一个虚拟机就是一个domain，一个DPDK进行就是一个domain，一个PCI设备分配给这个domain后只能操作这个domain的物理内存。

io pagetable

IOMMU的pagetable和MMU的pagetable一模一样，转换方式也一样，都支持4KB/2M/1G大小的page，都支持4级和5级页表，4级和5级的区别就是va/iova的长度是48位还57位。

DMA类型

Requests without address-space-identifier

DMA中只带了source-id，也就是PCI设备的bus/dev/funtion。

Requests with address-space-identifier

DMA中除了source-id还有PASID，而这个PASID来自于PCIE config space中的PASID Capability，它是软件配置到PCIE config space中的。

转换类型

intel vt-d IOMMU支持四种转换类型

first level/second level/nested /passthrough translation

first level translation

类似于MMU页表，有可能出现页面不存在/权限不够等问题。

second level translation

类似于MMU页表，有可能出现页面不存在/权限不够等问题。

nested translation

类似于vt-x中的EPT，first level任何一级查到的结果是个中间值，并不是真正的物理地址，需要second level再转换一次才能得到真正的物理地址，比如有一个指针指向first level的PML4E，这个指针指向的并不是真正的物理地址，只有经过second level转换一下才能变成真正的物理地址，才能获取first level的PML4E表，从PML4E中得到PDPE指针，这个指针也需要second level进行一次转换，才是真正存放PDPE表的物理地址，依次类推。

passthrough translation

跳过转换，DMA的iova就是pa。

IOMMU工作模式

intel vt-d iommu可以工作于legacy和scale模式。

legacy mode

Root Table Address Register指向root table，它中translation Table Mode是00b，root table和conext table是真正的物理地址。legacy mode采用Requests without address-space-identifier，DMA中带有bus/dev/function，bus查root table，dev和function查context table，context table结果指向second level pagetable，查pagetable得到最终的物理地址。

scale mode

Root Table Address Register指向root table，它中ranslation Table Mode是01b，root/context/PASID-directory/PASID-tables是真正的物理地址。scale mode同时支持Requests without address-space-identifier和Requests with address-space-identifier，如果没有PASID，那么就取context table中默认的RID_PASID。bus查root table，dev和function查context table，context table的结果指向PASID directory，PASID directory的结果指向PASID table，PASID table的结果同时包含first level pagetable, second level pagetable和PASID Granular Translation Type (PGTT)，PGTT中指明进行first level/second level/nested/passthrough translation。