首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【实测】基于开源硬加速平台RIFFA架构的PCIe DMA性能测试及分析

>测试环境 (1)Xilinx Virtex-7开发平台一块,网线一条; (2)64位Linux系统(内核版本:Ubuntu 16.04 LTS)主机一台、PCIe驱动和功能测试应用; (3)64位Windows...系统调试工程机一台,硬件开发软件Xilinx Vivado 2019.2; 图5:板级测试连接图 板级测试的拓扑结构如图5所示,在64位的Linux系统主机上装载了与SG DMA控制器适配的PCIe驱动和功能测试应用...(3)在Linux系统主机上输入lspci命令查看Virtex-709开发板是否被主机识别为PCIe设备;输入lsmod命令检查PCIe驱动是否装载成功;输入dmesg命令查看PCIe设备的详细信息,并核对这些信息的正确性...(4)读写配置空间测试:在Linux主机上输入lspci -xxx命令读取PCIe配置空间详细信息,使用setpci命令向PCIe标准配置空间写入数据。...图8:传输1KB数据量时,统计DMA读操作时间 如图9所示,在Linux主机的终端下输入.

2.9K21

深入理解SR-IOV和IO虚拟化

长期从事Linux内核驱动开发、Linux内核开发和Linux系统虚拟化(QEMU/KVM),喜欢分析Linux内核子系统基本原理并撰写技术博客,长期关注kernel、QEMU的开源项目,经常参加相关开源社区活动...2.2 软件支持 Linux系统下,基于SR-IOV有三种应用场景:HostOS使用PF、HOstOS使用VF、将VF直通到VM(虚拟机),见图2.2.1: 图2.2.1 Linux系统中PCI驱动框架...3.1.2 VFIO VFIO(Virtual Function I/O)是基于IOMMU为HostOS的用户空间暴露PCIe设备的配置空间和DMA。...3.1.3 QEMU/KVM PCI设备直通 QEMU/KVM 的PCI设备直通QEMU的核心工作主要有两部分: 1) 读取PCIe设备信息 通过VFIO接口读取PCIe设备的配置空间和DMA信息, 2...) 为虚拟机创建虚拟PCIe设备 为虚拟机创建虚拟PCIe设备,虚拟PCIe设备的寄存器规划和DMA信息是物理PCIe设备在虚拟机中的映射。

6.4K40

PCIe(一)、PCIe PIO分析一

一、PCIe基础知识 1.1 关于接口 PCIe2x接口,对比其他系列,该接口包含2对发送与接收接口, 数据部分包含双向八个接口: PETp0与PETn0:发送器差动线对,通道0 PETp1与PETn1...1.2 TLP包 1.2.1 AXI-Stream总线上的数据 在赛灵思7系列FPGA中,使用AXIStream总线进行通信,PCIe的TLP包使用AXI总线传输,在AXI总线上数据大端对齐,即高位数据在地址的高位...在使用强序模型时,在数据的整个传送路径中,PCIe设备在处理相同类型的TLP时,如PCIe设备发送两个存储器写TLP时,后面的写TLP必须等待前一个存储器写TLP完成后才能被处理,几遍当前报文在传输过程中阻塞...但是对于不同类型的TLP间可以乱序通过同一条PCIe链路。 在使用Realaxed Ordering模型时,后一个写TLP可以越过前一个存储器写TLP提前执行,从而能提高PCIe总线利用率。...1.2.3 TLP的路由 TLP的路由指的是TLP通过Switch或者PCIe桥片时采用哪一条路景,最终到达EP或者RC(Root Complex,跟联合体)的方法,一共有三种:基于地址的路由、基于ID

2.8K30

虚拟化与云计算硬核技术内幕 (12) —— 独立自主,自力更生 (中)

GPU属于PCIe设备,将PCIe设备直通给虚拟机所需要的,就是让虚拟机能够访问到PCIe的配置空间,并为PCIe设备在虚拟机的内存地址空间中分配DMA空间,以及让PCIe设备的MSI中断可以直通给虚拟机...这样,虚拟机读写PCIe配置空间的问题,和为PCIe设备分配DMA地址问题,实质上就成了一个问题——将PCIe设备在宿主机上的配置空间地址和DMA地址,映射成为虚拟机可以访问的地址!...当PCIE设备完成第一阶段的初始化后,驱动程序会向操作系统申请用于给外设进行DMA的内存空间。显然,GuestOS向操作系统申请到的内存地址是GVA。...当PCIE设备需要DMA的时候,会对GPA进行操作—— 在这里出问题了。PCIE DMA地址应当是GPA对应的HPA! 幸好,IOMMU阻止了这一切。...如上图,Linux内核对dma_map_mage函数和pci_map_page()函数做了修改。如果发现自己是虚拟机(非DMA Direct Mapping),会将地址翻译的工作重定向到IOMMU。

72610

DMA方式

1.DMA方式的特点 主存和DMA接口之间有一条直接数据通路。由于DMA方式传送数据不需要经过CPU,因此不必中断现行程序,I/O与主机并行工作,程序和传送并行工作。...2.DMA控制器的组成 对数据传送过程中进行控制的硬件称为DMA控制器(DMA接口)。...当I/O设备需要进行数据传送时,通过DMA控制器向CPU提出DMA传送请求,CPU响应之后让出系统总线,由DMA控制器接管总线进行数据传送。 1)接受外设发出的DMA请求,并向CPU发出总线请求。...DMA请求触发器:每当I/O设备准备好数据后给出一个控制信号,使DMA请求触发器置位。...由此可见,DMA控制器必须具有控制系统总线的能力。 3.DMA的传送方式 主存和DMA控制器之间有一条数据通路,因此主存和I/O设备之间交换信息时。不通过CPU。

3.6K12

什么是DMADMA究竟有多快!

直接内存访问(Direct Memory Access,DMA):在计算机体系结构中,DMA 是一种数据传输方式,允许外部设备直接访问计算机的内存,而无需通过中央处理单元(CPU)的干预。...那么,DMA究竟有多快呢? 实践出真知 恰好,最近有个多通道数据采集的项目,受限于通道数多、分辨率高,而系统带宽有限,为了尽可能充分利用有限带宽,就得想办法优化时序,把时间都留给数据采集和传输。...优化方向就是DMA。 硬件链路是ADC通过SPI接口将数据发送给STM32单片机,单片机再将数据发送到上位机。 咱们的目标就是优化SPI这边,先看普通采集模式。...再看下,开启DMA之后的效果。SPI可以连续工作,时钟速率稳定在20MHz,高效工作。 这就是DMA的强大之处! 问题来了,为什么上图中的波形,有这么大的震荡呢?

18610

32.Linux-2440下的DMA驱动(详解)

DMA中断 1.1在linux中,分配释放DMA缓冲区,只能使用以下几个函数 1)  /*该函数只禁止cache缓冲,保持写缓冲区,也就是对注册的物理区写入数据,也会更新到对应的虚拟缓存区上*/ void...和DMASKTRIGn[1]=1才有效,DMA传输时,该位自动清0 1.3接下来就开始讲linux注册DMA中断 首先,DMA的每个通道只能有一个源- >目的,所以输入命令 cat /proc/interrupts...,找到DMA3中断未被使用 所以在linux中使用: request_irq(IRQ_DMA3, s3c_dma_irq, NULL, "s3c_dma", 1);// s3c_dma_irq:中断服务函数...,还是直接两个地址之间的拷贝 -> 2.2)若是DMA启动,则设置DMA的相关硬件,并启动DMA传输 2.1 所以,驱动代码如下所示: #include #include... #include #include #include #include <linux

3.7K90

业界首个NIC中PCIe性能测试基准程序公布!

图中的现代NIC(内核驱动程序)显示了这种适度优化的网卡/驱动程序组合在使用典型的Linux内核驱动程序时的吞吐量。...相反,我们通过从同一个地址发出一个DMA写操作,然后发出DMA读操作,来间接测量写操作的延迟。PCIe排序确保了PCIe根复合体先处理写操作后处理读操作。...NFP pcie-bench驱动程序使用标准的NFP内核驱动程序。它以4MB的块来分配主机端的DMA缓冲区,因为这是在大多数Linux内核版本中可以物理上连续分配的最大大小。...为了衡量IOMMU的影响,我们在intel_iommu=on的情况下在Linux内核命令行上启用它。...Linux Performance. http://www.brendangregg. com/linuxperf.html. [15] Prabhat K. Gupta. 2018.

2.7K20

宋宝华:那些年你误会的Linux DMA(关于Linux DMA ZONE和API最透彻的一篇)

创作目的 互联网、Linux内核书籍上充满了各种关于Linux DMA ZONE和dma_alloc_coherent、dma_map_single等的各种讲解,由于很多童鞋缺乏自身独立的思考,人云亦云...那么ISA上面假设有个网卡,要DMA,超过16MB以上的内存,它根本就访问不到。所以Linux内核干脆简单一点,把16MB砍一刀,这一刀以下的内存单独管理。...比如我在CSR工作的时候,CSR的primaII芯片,尽管除SD MMC控制器以外的所有的DMA都可以访问整个4GB内存,但MMC控制器的DMA只能访问256MB,我们就把primaII对应Linux的...下面我们架空历史,假设有一个如下的芯片,里面有5个DMA,A、B、C都可以访问所有内存,D只能访问32MB,而E只能访问64MB,你觉得Linux的设计者会把DMA ZONE设置为多大?...当我grep内核源代码的时候,我发现部分SoC确实是这样实现的: baohua@baohua-VirtualBox:~/develop/linux/arch/arm$ git grep arm_coherent_dma_ops

6.6K46

PCIe系列第六讲、PCIe的数据链路层

数据链路层的状态 数据链路层通过物理层监控当前PCIe链路层的状态,数据链路层会处于以下3种状态: (1)、DL Interactive:物理层通知数据链路层当前PCIe链路不可用,此时PCIe链路的对端可能未连接设备或未检测到对端设备...(3)、DL Active:物理层通知数据链路层当前PCIe链路正常,此时物理层已经训练或重训练完毕。...数据链路层的管理DL_DOWN&DL_UP 当出现以下三种情况时,DL DOWN有效: (1)、无当前PCIe链路对端设备的连接 (2)、数据链路层或物理层出现了异常 (3)、软件禁用当前PCIe链路...当链路处于DL DOWN状态时,Switch和PCIe桥的上游端口,将复位相关的内部逻辑和状态,并丢弃所有正在处理的TLP,此时Switch和PCIe桥将使用hot reset的方式复位所有下游端口。...3、 Power Management DLLPs:PCIe设备使用过该组DLLPs进行电源管理,并向对端设备通知当前PCIe链路的状态,拥有保证电源管理状态机的正确运行。

2.6K12
领券