问从MMIO预取吗？

EN

我要感谢彼得·科德斯、约翰·D·McCalpin、尼尔·纳图、克里斯蒂安·路德洛夫和大卫·马齐埃，感谢他们帮助我解决这个问题！

为了预取，您需要能够将MMIO读取存储在CPU缓存层次结构中。当您使用UC或WC页表项时，您不能这样做。但是，如果使用WT页表条目，则可以使用缓存层次结构。

唯一要注意的是，当您使用WT页表条目时，以前使用陈旧数据进行的MMIO读取可能在缓存中徘徊。您必须在软件中实现一致性协议，以从缓存中清除陈旧的缓存线，并通过MMIO读取读取最新数据。这在我的例子中是没有问题的，因为我控制了PCIe设备上发生的事情，所以我知道什么时候应该冲洗。但是，您可能不知道什么时候应该在所有场景中进行刷新，这可能会使这种方法对您毫无帮助。

以下是我如何设置我的系统：

1. 将映射到PCIe栏的页面表条目标记为WT。您可以为此使用ioremap_wt() (如果条形图已经映射到内核中，则使用ioremap_change_attr() )。

1. 根据https://sandpile.org/x86/coherent.htm，PAT类型和MTRR类型之间存在冲突。PCIe条的MTRR类型也必须设置为WT，否则PAT类型将被忽略。您可以使用下面的命令来完成此操作。确保使用PCIe栏地址(您可以在lspci -vv中看到)和PCIe栏大小更新命令。大小是以字节为单位的十六进制值。

echo "base=$ADDRESS size=$SIZE type=write-through" >| /proc/mtrr

1. 作为一种快速检查，此时您可能希望在循环中发出大量MMIO读取到条形图中相同的缓存行。您应该看到，在第一次MMIO读取之后，每个MMIO读取的成本会大幅下降。由于需要从PCIe设备获取值，所以第一次读取MMIO的代价仍然很高，但是后续的读取应该要便宜得多，因为它们都是从缓存层次结构读取的。

1. 现在可以将预取发送到PCIe栏中的地址，并将预取的缓存行存储在缓存层次结构中。Linux有prefetch()函数来帮助发出预取.

。

1. 您必须在软件中实现一个简单的一致性协议，以确保从缓存中清除由PCIe条支持的陈旧缓存线。您可以使用clflush刷新陈旧的缓存行。Linux有clflush()函数来帮助解决这个问题.

这个场景中关于clflush的一个注意事项:由于内存类型是WT，所以每个存储都会同时进入缓存中的缓存行和MMIO。因此，从CPU的角度来看，缓存中缓存行的内容总是与MMIO的内容相匹配。因此，clflush只会使缓存中的缓存行失效--它也不会将陈旧的缓存行写入MMIO。

1. 注意到，在我的系统中，我立即在clflush之后发出预取。但是，下面的代码不正确：

clflush(address);
prefetch(address);

此代码不正确，因为根据https://c9x.me/x86/html/file_module_x86_id_252.html，预取可以在clflush之前重新排序。因此，预取可以在clflush之前发出，而当clflush发生时，预取可能会失效。

要解决这个问题，根据链接，您应该在cpuid和预取之间发出clflush：

int eax, ebx, ecx, edx;

clflush(address);
cpuid(0, &eax, &ebx, &ecx, &edx);
prefetch(address);

彼得·科德斯( Peter )表示，在上面发布一个lfence，而不是cpuid，就足够了。