不能同时使用cuMemcpyHtoDAsync和cuMemcpyDtoHAsync
cuMemcpyHtoDAsync和cuMemcpyDtoHAsync是CUDA编程中的两个异步内存拷贝函数。它们用于在主机和设备之间进行数据传输。具体解释如下：
- cuMemcpyHtoDAsync：这个函数用于将主机内存中的数据异步地拷贝到设备内存中。它接受源主机内存指针、目标设备内存指针、要拷贝的数据大小以及一个CUDA流作为参数。该函数将数据拷贝操作放入指定的CUDA流中，并立即返回，不会阻塞主机线程。这使得主机线程可以继续执行其他任务，而数据拷贝操作在后台进行。
- cuMemcpyDtoHAsync：这个函数用于将设备内存中的数据异步地拷贝到主机内存中。它接受源设备内存指针、目标主机内存指针、要拷贝的数据大小以及一个CUDA流作为参数。该函数将数据拷贝操作放入指定的CUDA流中，并立即返回，不会阻塞主机线程。
使用cuMemcpyHtoDAsync和cuMemcpyDtoHAsync的优势是可以提高数据传输的效率和并行性，因为数据拷贝操作可以与其他计算任务同时进行。这对于需要频繁进行数据传输的CUDA应用程序特别有用。
这两个函数的应用场景包括但不限于以下情况：
- 在主机和设备之间进行大量数据的异步传输。
- 需要在数据传输过程中进行其他计算任务。
腾讯云提供了适用于GPU计算的云服务器实例，可以满足CUDA编程的需求。相关产品是GPU计算型云服务器，具体介绍请参考腾讯云官方文档：GPU计算型云服务器。
相关·内容
1回答
我一直在研究异步CUDA操作，并读到有一个内核执行(“计算”)队列和两个内存复制队列，一个用于主机到设备(H2D)，另一个用于设备到主机(D2H)。
可以在这些队列中的每个队列中并发运行操作。如果我正确理解，那么在计算队列中可以同时执行多达16个内核。(32关于一些现代建筑。)
然而，在D2H和H2D队列中只能同时发生一个内存传输。如果两者同时使用，这总共是两个同时进行的内存传输，在两个不同的方向。
假设我正确理解了这一切，我的问题是，是哪个设备“管理”数据的传输？
进一步的读取表明GPU具有对主机(CPU)存储器(RAM)的直接存储器访问(DMA)。这意味着CUDA设备( GPU)包含一个管
浏览 0提问于2021-06-05得票数 0
1回答
Cuda ORB描述符Opencv
c++、opencv、image-processing
我正在尝试用OpenCV在CUDA上做一个特征匹配算法。我正在使用ORB特性。我遇到的主要问题是我能够很好地计算ORB关键点，但是描述符总是空的。我试了所有的方法，但都没有成功。我尝试了opencv的最新版本(3.4.0)和3.2.0版本。这是我的代码的简化版本：
cv::Ptr<cv::cuda::ORB> orb_gpu = cv::cuda::ORB::create(5000);
std::vector<cv::KeyPoint> keypoints;
cv::cuda::GpuMat descriptors;
cv::cuda::GpuMat img_gpu(c
浏览 11提问于2018-01-19得票数 2
回答已采纳
3回答
降低CPU到GPU数据传输延迟的技术
optimization、memory、cuda、data-transfer、latency
我一直在寻找减少从CPU和GPU来回传输数据所导致的延迟的方法。当我第一次开始使用CUDA时，我确实注意到CPU和GPU之间的数据传输确实需要几秒钟的时间，但我并不真正关心，因为这并不是我正在编写的小程序真正关心的问题。事实上，对于绝大多数使用CPU的程序(包括视频游戏)来说，延迟可能不是什么大问题，因为它们仍然比在CPU上运行要快得多。
然而，我是一个HPC爱好者，当我看到天河一号理论峰值故障与实际LINPACK测量性能之间的巨大差异时，我开始关注我的研究方向。这引发了我对自己是否走对了职业道路的担忧。
通过使用cudaHostAlloc()函数来使用固定内存(页面锁定)内存是一种减少延迟的
浏览 10提问于2011-06-28得票数 15
回答已采纳
1回答
使设备内存访问与主机线程同步
cuda、gpu、synchronize
CUDA内核有没有可能在没有任何主机端调用(例如，cudaDeviceSynchronize)的情况下同步写入设备映射内存？当我运行下面的程序时，内核似乎并没有等待设备映射内存的写入完成后才终止，因为在内核启动后立即检查页面锁定的主机内存并没有显示内存的任何修改(除非插入了延迟或者未注释对cudaDeviceSynchronize的调用)：
#include <stdio.h>
#include <cuda.h>
__global__ void func(int *a, int N) {
int idx = threadIdx.x;
if (idx
浏览 1提问于2012-12-05得票数 4
回答已采纳
2回答
Cuda:内核启动队列
cuda
我没有找到太多关于内核启动操作机制的信息。说要去看我在那也没找到什么。
由于内核执行是异步的，而且一些机器支持并发执行，因此我认为内核有一个队列。
Host code:
1. malloc(hostArry, ......);
2. cudaMalloc(deviceArry, .....);
3. cudaMemcpy(deviceArry, hostArry, ... hostToDevice);
4. kernelA<<<1,300>>>(int, int);
5. kernelB
浏览 2提问于2012-10-06得票数 4
4回答
GPU从CPU读取还是CPU写入到GPU？
cuda、opencl、gpu
我是并行编程的初学者。我有一个问题，可能看起来很愚蠢，但当我在谷歌上搜索它时，我没有得到一个明确的答案。
在GPU计算中，有一个设备，即GPU和主机，即CPU。我写了一个简单的hello world程序，它将在gpu上分配一些内存，将两个参数(例如src[]和dest[])传递给内核，将src字符串(即Hello world )复制到dest字符串，并将dest字符串从gpu获取到主机。
字符串"src“是由GPU读取还是由CPU写入GPU？另外，当我们从GPU取回字符串时，是GPU写入CPU还是CPU从GPU读取？
在来回传输数据时，有四种可能: 1. CPU到GPU - CPU写入
浏览 6提问于2012-07-03得票数 7
1回答
在多个GPU上启动异步内存复制接口
c++、cuda、multi-gpu
我想对主机上的数据数组进行分割&复制到多个gpus的设备内存中。另外，我想同时执行所有这些复制操作。
为此，我使用cudaMemcpyAsync，我在每个GPU的私有流中启动它。
这里是我正在做的事情(代码中的怀疑以注释开始?？)
#define SIZE 1000
#define GPUCOUNT 2
int* hostData = nullptr;
int *devData[GPUCOUNT];
cudaStream_t stream[GPUCOUNT];
// Create one stream per GPU
for ( int i=0; i != GPUCOUNT ; +
浏览 2提问于2015-01-13得票数 1
回答已采纳
1回答
关于在核心上工作的CUDA向量
c++、cuda
我将使用CUDA在GPU上实现一种创建3D模型的方法。我几年前就这样做了，但我想CUDA是从那时起发展起来的，所以我试着得到一些关于如何最好地做我将要做的事情的投入。
在我的C++版本中，我有一个体素向量，其中Voxel是一个包含浮点数的结构。向量应该表示一个完整的网格，我将对每个体素进行独立的计算。
之前，为了能够访问设备上的体素，我必须使用指针和cudaMalloc等等。我正在考虑是否有一些新的功能我可以使用。
在实际的内核中是否可以使用类似于向量的东西？推力是不合适的，因为它应该是从主机调用。
更有趣的是，是否可以在设备上进行动态内存分配，这样我就可以在GPU上实现类似octree之类的
浏览 0提问于2015-08-17得票数 1
回答已采纳
1回答
如何通过数据分裂和多线程多GPU有效地计算大矩阵向量乘法？
multithreading、cuda、gpu
我是GPU计算的新手。我要计算XX^TY的结果，其中X是一个大矩阵(N乘以P)，Y是向量(N乘以1)。现在，我想将矩阵X分成几个块，首先计算每个设备的本地结果。最后，用全环约简得到和结果.我的演示代码如下
typedef unsigned long long uint64;
struct DevicePro {
// pointer of device memory
float* deviceData;
float* deviceVec;
float* deviceRes;
// cuda context
cudaStream_t strea
浏览 1提问于2020-06-12得票数 0
回答已采纳
1回答
具有MPI (MPICH2)和nVidia CUDA的并行计算集群
parallel-processing、cuda、mpi
我需要编写一个应用程序，从字典中散列单词，使WPA预共享键。这是我为“网络安全”课程做的论文。为了提高性能，应用程序需要并行。我有一些经验，MPI从我的IT研究，但我想把它与数据自动化系统。其思想是使用MPI将负载均匀地分配到集群的节点，然后利用CUDA在节点的GPU内并行运行单个块。
用MPI分配负载是我可以很容易做到的事情，也是我过去做过的事情。同时，使用CUDA计算也是我可以学习的东西。还有一个项目(pyrit)，它或多或少地做了我需要做的事情(实际上更多)，我可以从那里得到一些想法。
我想要一些关于如何在MPI和CUDA之间建立联系的建议。如果有人建造了这样的东西，我会非常感谢他的建议
浏览 0提问于2012-07-09得票数 1
回答已采纳
1回答
如何使用GPU从GPU代码复制数据？
c++、cuda、gpgpu、dma
使用CUDA SDK 5.5，我可以用来复制数据：
从主机：使用GPU-DMA，如果内存固定。
如果内存未固定，memcpy();或将使用CPU核心
从gpu：for() { dst[i] = src[i]; }或memcpy();到GPU内核
从gpu:使用？
如何在GPU代码的kernel-function中使用GPU复制数据？
浏览 2提问于2013-10-08得票数 5
回答已采纳
2回答
CUDA内存分配和访问的问题
memory、gpgpu、cuda
我现在正在学习CUDA。我对MPI有一些基本的经验，所以我想我应该从一些非常简单的向量操作开始。我正在尝试写一个并行化的点积的东西。我在向CUDA设备分配/写入内存时遇到了问题，或者我没有正确地将它带回主机(cudaMemcpy())。
/*Code for a CUDA test project doing a basic dot product with doubles
*
*
*
*/
#include <stdio.h>
#include <cuda.h>
__global_
浏览 4提问于2012-01-18得票数 0
1回答
CUDA中大量输入的有效内存？
cuda、memcpy、gpu
我在使用CUDA编写的程序中遇到问题。我有一个输入数组和一个输出数组，我需要将它们复制到设备内存。问题是这两个数组在一起太大，无法放入设备内存。我现在要做的是拆分输入和输出数组，并为两个部分顺序运行内核。
为了让这种方法起作用，我使用了一个中间数组，因为cudaMemcpyFromArray和cudaMemcpyToArray似乎只适用于纹理内存。这导致了不必要的内存复制操作。有谁知道更有效的方法吗？
浏览 0提问于2011-12-20得票数 0
3回答
Nvidia CUDA中的预取
cuda、nvidia、prefetch
我正在研究nVidia CUDA中的数据预取。我阅读了一些关于设备本身预取的文档，即从共享内存到缓存的预取。
但我对CPU和GPU之间的数据预取很感兴趣。有没有人能给我一些关于这件事的文件或东西？任何帮助都将不胜感激。
浏览 1提问于2011-10-17得票数 1
1回答
外卖小程序需要什么配置的云服务器？
云服务器、微信、小程序
本人一个蛋糕面包店，想自己搞一个微信小程序做外卖服务，程序有了，域名已经在腾讯云里注册了，现在准备购买腾讯的云服务器，需要什么配置的，哪位大神能帮解答下吗，谢谢
浏览 869提问于2019-05-25
1回答
Vulkan中的设备到设备副本
c++、gpu、vulkan
我想在我的Vulkan应用程序(一个vkInstance，两个vkDevice)中的两个GPU/物理设备之间复制一个图像/缓冲区。如果不在CPU上暂存映像，这是可能的吗?还是有像CUDA p2p这样的功能？这看起来怎么样？
如果需要在主机上进行暂存，那么最佳的方法是什么？
浏览 0提问于2018-10-03得票数 6
回答已采纳
6回答
在多个设备之间共享数据？
cuda
在CUDA C编程指南中，有人说
...通过设计，主机线程在任何给定的时间只能在一个设备上执行设备代码。因此，需要多个主机线程在多个设备上执行设备代码。此外，在一个主机线程中通过运行时创建的任何CUDA资源都不能被运行时从另一个主机线程中使用.
我想做的是让两个GPU共享主机上的数据(映射内存)，
但手册似乎表明这是不可能的。
有什么解决办法吗？
浏览 4提问于2010-11-10得票数 4
回答已采纳
2回答
PyTorch的non_blocking=True在数据预取中的正确使用
python、python-3.x、deep-learning、pytorch
当模型被训练在GPU上时，我正在研究从CPU中预取数据到GPU中。与GPU模型训练重叠的CPU到GPU数据传输似乎需要两者同时进行。
用data = data.cuda(non_blocking=True)向GPU传输数据
使用train_loader = DataLoader(..., pin_memory=True)将数据引脚到CPU内存
但是，我无法理解如何在这个中执行非阻塞传输，特别是这个代码块：
for i, (images, target) in enumerate(train_loader):
# measure data loading time
浏览 21提问于2020-08-18得票数 10
1回答
库达:为什么大于64 are的内存传输会阻塞调用？
performance、memory-management、cuda、blocking、memory-access
我是一个学习数据自动化系统的学生，我正在努力了解记忆转移是如何工作的。我在互联网上看到，大于64 on的内存传输被视为阻塞调用，而64 on以下的内存传输是非阻塞的。我试着用我的课堂笔记来解释它，但我不确定我的推理。我认为这是因为拥有大量数据的传输可能会导致GPU、CPU和内存总线都不能工作的空闲时间，所以最好在计算和内存传输之间有重叠。尽管如此，我还是不明白为什么极限是64‘m，我甚至不知道我刚才说的是正确的。
有人能帮我或提供更好的解释吗？非常感谢。
编辑:我首先在以下参考资料中找到了这个信息：
幻灯片是数字7，题为“默认流(又名流'0')”
然后我深化了我的研究，我发现：
浏览 11提问于2022-01-18得票数 1
1回答
并行运行多个流(而不是线程/块)
cuda
我有一个内核，我想从配置"1块x32线程“开始。为了增加并行性，我想启动几个流，而不是运行比"1块x32线程“更大的”工作包“。我想在一个数据来自网络的程序中使用GPU。我不想等到一个更大的“工作包”出现。守则是这样的：
Thread(i=0..14) {
- copy data Host -> GPU [cudaMemcpyAsync(.., stream i)]
- run kernel(stream i)
- copy data GPU -> Host [cudaMemcpyAsync(.., stream i)]
}
真正的代码要复杂得多，但我想
浏览 1提问于2013-08-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
