大模型与AI底层技术揭秘（23）抽象派的小黑子

小H在学习了本专题以后，开始思考一个问题：

人的大脑相当于什么级别的CPU和GPU呢？

小H想了想，发现自己计算这个问题：

把48331804981分解为两个质数的积

比计算机CPU要慢很多倍。

但是看到这张图却能立即进行渲（脑）染（补）并识别出是谁：

好像觉得自己的大脑又行了，能跟NVidia H100集群PK了。

方老师发现了，嘲笑小H：你怎么也学小学生的恶趣味呢？

小H讪讪地回座位去研究上期遗留的问题了。

在上期，我们遗留了另一个问题：在ARM Cortex-A 体系架构下，应当如何让让虚拟机的OS能够访问到PCI-E设备的配置空间，IO BAR空间和DMA缓冲区？

我们先看看在Intel 体系架构下是如何解决这一问题的。

在Intel 32bit（x86）或64bit（x64）模式下，PCI-E配置空间实际上是一段位于系统内存区域的地址，访问这段地址应当使用普通的基址变址指令，而不需要使用input/output这种对系统IO端口访问的指令。

如图，在PCI-E配置空间的第16字节到第40字节，是所谓的BAR(Base Address Register)，是这些PCI-E设备本身的工作寄存器（如网卡的MAC寄存器，Phy寄存器等）地址段的起始地址和偏移量。这部分地址的访问方式与配置空间类似，也通过普通基址变址指令来访问，替代传统实模式下的input/output指令。

此外，操作系统在初始化PCI-E设备硬件的时候，会给PCI-E设备硬件分配自己可直接使用的DMA内存空间，硬件会直接对这部分空间进行数据的读写，因此CPU可以和其他PCI-E设备通过DMA内存地址空间，使用共享存储器的方式进行大批量数据的互通。

在物理机上，这些硬件直接看到的地址（物理机总线上可以通过逻辑分析仪抓到的地址，我们称为宿主机物理地址（HPA，Host Physical Address）。而程序指令中访问的地址为虚拟地址（HVA，Host Virtual Address），HVA是HPA通过MMU映射的结果，二者之间的映射表保存在MMU（Memory Management Unit）维护的TLB（ Translation Lookaside Buffer）表中。对于多核处理器，大家共用一个MMU和TLB。

在存在虚拟机的情况下，问题则变得复杂化。虚拟机上程序指令发出的地址被称为GVA（Guest Virtual Address）。问题在于，两台虚拟机有可能使用重叠的GVA，但实际上对应的HVA和HPA都不一样。那么，如何对二者进行区分呢？

Intel的方案是，采用EPT（extended page table），在MMU中的TLB增加虚拟机ID的字段，通过虚拟机ID和GVA的组合，来翻译得到HPA。

在ARM体系架构下，也有SMMU来实现这一翻译功能。

如图，在ARM下，地址翻译类似Intel，也分为两个阶段：

第一阶段，从虚拟机内部的虚拟地址（VA）到虚拟机认为的物理地址（IPA，Intermediate Physical Address）；

第二阶段，根据虚拟机的ID，以及IPA，翻译得到真实物理地址（PA）。

对于PCI-E设备直通给虚拟机，我们需要把PCI-E设备的配置空间地址、IO BAR地址和DMA空间地址都通过SMMU进行转换成为VA后，虚拟机操作系统内的驱动程序就可以访问PCI-E设备的硬件了。

解决了PCI-E直通以后，我们就可以在虚拟机里面来使用GPU了，也可以将一台服务器上的多个GPU通过虚拟机分配的方式，给不同的租户使用，并通过云计算平台来按时长等方式进行收费。

然而，正所谓按下来葫芦浮起来瓢。这种GPU算力调度方式又遇到了新的问题——云原生。

请看下期分解。