在分块矩阵乘法中，为什么CUDA共享内存比全局内存慢？

文章/答案/技术大牛

发布

0回答

c++、memory、cuda

我有平铺矩阵乘法代码，有没有共享内存。下面是使用全局内存的矩阵乘法：void MatrixMulKernel(float* M, float* N, float* P, int Width)int Row =Pvalue += M[Row*Width + k] * N[k*Width + Col];}下面是使用共享<

浏览 20提问于2017-12-04得票数 1

回答已采纳

1回答

能用纹理存储器加速矩阵乘法吗？

c++、matrix、cuda、multiplication

是否有可能用纹理存储器来加速像矩阵乘法这样简单的东西？除了贴图之外，空间局部性是一个很好的属性，但是使用纹理内存所带来的开销会超过它吗？我似乎找不到任何使用纹理存储器的矩阵乘法的实现。

浏览 1提问于2015-04-29得票数 1

回答已采纳

1回答

CUDA将异步内存复制从全局到共享内存

cuda、torch、gpu-shared-memory

我目前正在学习如何编写快速的CUDA内核。我实现了一个块矩阵乘法(块大小32x32)，它只合并从全局内存读取/写到全局内存，并且在从共享内存写入/读取时没有银行冲突(它的速度大约是py手电矩阵乘法实现速度的50%)。现在，我尝试使用流水线(两个阶段)并异步地将内存从全局复制到共享内存(请参阅和)。=

浏览 11提问于2022-09-13得票数 0

1回答

多GPU上的稀疏矩阵向量积

cuda、gpu、gpgpu、sparse-matrix、multi-gpu

我想知道在多个(比方说n个)GPU上的CUDA中计算稀疏矩阵向量积y= Ax的最快方法是什么。y_i = \sum_j A_{i,j} x_j, // GPU j stores A_{i,j} and x_j, result is copied// to and summed up on GPU i 以cuSPARSE为例，在不同的GPU上运行j=1

浏览 0提问于2015-09-15得票数 1

5回答

如果cudaMalloc()分配全局内存，那么我为什么需要cudaMemcpy()？

cuda、parallel-processing

我正在学习cuda，到目前为止，我了解到cuda具有为全局对象分配内存的cudaMalloc()函数。但现在在一些矩阵乘法代码中，我看到他们正在使用另一个名为cudaMemcpy()的函数，该函数将对象从主机复制到设备，或者从主机复制到设备。但我不明白为什么需要它？由于cudaMalloc()正在分配全局内存，所以所有的设备内核都应该能够访问它，不是吗？我的误解在哪里？

浏览 1提问于2012-12-13得票数 3

4回答

cuda中的矩阵乘法

cuda

假设我想把两个矩阵相乘，50乘50。我有两种方法来安排线程和块。b)每个乘法都有一个线程。结果矩阵的每个元素需要50个线程。在完成乘法运算后，我可以使用二进制缩减来对结果求和。我不知道该走哪条路，所以我走了b路。它不太理想。事实上，它是很慢的。知道为什么吗？

浏览 0提问于2010-10-05得票数 5

回答已采纳

3回答

为什么全球+共享比单独全球共享更快

cuda、shared-memory

我需要一些帮助来理解Ron Farber代码的行为：我不明白共享内存的使用如何比非共享内存版本提供更快的性能。也就是说，如果我添加更多的索引计算步骤，并使用添加另一个Rd/Wr周期来访问共享内存，这如何比仅使用全局内存更快？在任一情况下，相同数量的Rd/Wr周期访问全局mem。每个内核实例仍然只访问一次数据。数据仍然使用全局内存传入/

浏览 4提问于2012-08-14得票数 2

回答已采纳

1回答

涉及多个进程的矩阵乘法共享内存

c、ipc、shared-memory、matrix-multiplication

我正试图通过共享内存来学习IPC。我不明白如何将共享内存分配给不同processes.For示例中的各种变量，在矩阵乘法中，我不想全局声明矩阵，而是通过共享内存声明矩阵。如何将内存附加到不同的矩阵，如：有人能帮我吗？另外，它是否可以被mmap()和shm_open()替换，或者仅仅是文件？如果是，怎么做？我找

浏览 5提问于2013-03-13得票数 0

1回答

cuSparse中的有效矩阵向量乘法

java、cuda、sparse-matrix、matrix-multiplication

我使用jCUSPARSE (cuSparse库包装器)进行矩阵向量乘法，并且函数有问题。cusparseSetMatType(descra, cusparseMatrixType.CUSPARSE_MATRIX_TYPE_SYMMETRIC);我在一个对称矩阵10000x10000上测试了它，一般的工作速度是对称矩阵的10倍

浏览 6提问于2011-11-02得票数 1

1回答

CUDA :设备和代码是否可以并行运行，直到生命周期，乒乓数据？

cuda、ipc

我正在用Cuda编程矩阵向量乘法。矩阵是以块为单位的，因此每个线程可以在共享内存中保存矩阵的一个块(作为线程局部变量)。我还将向量作为参数发送，乘法是在块中执行的，没有问题。我必须用相同的矩阵计算矩阵向量乘积，但每个时间片的向量不同。因此，为每个产品评估调用内核是一种浪费，这会导致将矩阵块从显卡的全局内存复制到

浏览 0提问于2011-12-17得票数 1

1回答

CUDA共享内存中的扁平与多维数组

cuda

与库达共享内存中的多维数组相比，使用扁平数组有什么性能优势吗？我知道，当涉及到主机内存空间时，扁平数组比多维数组提供了某些优势，但我不确定这是否适用于gpu共享内存中的数组。这主要是因为我看到了许多在共享内存中使用多维的代码示例，例如CUDA最佳实践指南中的矩阵乘法示例。

浏览 2提问于2015-07-20得票数 0

回答已采纳

2回答

稀疏矩阵乘法比numpy阵列慢得多

numpy、scipy、sparse-matrix

我构造了下面的例子来测试一维稀疏矩阵乘法和numpy数组.sp = csc_matrix((1, 36710))9.9 µs ± 230 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each) 而且，它们都比存储条目的普通分块慢，也比乘法的for -循环慢(~1)。在尝试不

浏览 2提问于2017-09-08得票数 0

回答已采纳

1回答

使用CUDA解决涉及更复杂数据结构的问题

cuda、gpu

所以我读了一些关于CUDA和GPU编程的知识。我注意到一些事情，比如对全局内存的访问很慢(因此应该使用共享内存)，并且warp中的线程的执行路径不应该发散。我还查看了程序员手册和中描述的(密集)矩阵乘法示例。实现的诀窍似乎是一样的:在网格中安排计算(在矩阵mul的情况下已经是这样)；然后将网格细分为更小的瓦片；将瓦片取到共享内存中</em

浏览 0提问于2010-05-11得票数 0

回答已采纳

1回答

TensorFlow运算与Numpy乘法的时间比较

python、performance、numpy、matrix、tensorflow

我一直在努力优化我的计算；对于我尝试过的大多数操作，tensorflow都要快得多。我试图做一个相当简单的operation...Transform矩阵(将每个值乘以1/2，然后将1/2加到该值中)。trans1是tensorflow版本，而trans2是numpy版本。

浏览 7提问于2016-03-02得票数 0

回答已采纳

1回答

cuda矩阵逐列乘法

cuda、matrix-multiplication

我正在尝试在cuda中做矩阵乘法。我的实现与cuda示例不同。cuda示例(来自cuda样本)通过将第一矩阵行中的每个值乘以第二矩阵列中的每个值来执行矩阵乘法，然后对乘积求和并将其存储在第一矩阵行的索引处的输出向量中。我的实现将第一个矩阵的列中的每个值乘以第

浏览 2提问于2012-12-28得票数 0

回答已采纳

2回答

内核变量位置

memory-management、cuda

我知道如果我使用通过cudaMalloc (全局memory...right?)分配的变量计算会非常慢(我已经尝试过了，结果比我的算法的顺序版本慢)。内核内存(应该被称为“本地内存”，对吧？)是否应该比全局内存更快？

浏览 1提问于2012-08-17得票数 0

回答已采纳

3回答

opencl硬件上的本地内存

c++、c、cuda、opencl

我一直在想，有没有办法在不同的GPGPU上估计共享内存的数量，而不是出去买卡？我目前在笔记本电脑中有一台16K共享内存的GTS 330M和一台16K + 32K = 48K共享内存的GTX 480。我想知道如果获得一张tesla卡，是否会给我更多的共享mem pr块，如果它将是相同的GTX卡。我希望

浏览 1提问于2011-08-03得票数 0

回答已采纳

1回答

GPU上所需的计算内存比(OP/B)

performance、cuda、gpu、metrics

我试图理解和了解GPU的架构，以及我们如何评估我们的程序在GPU上的性能。我知道应用程序可以是：下面的图像显示了每个微体系结构的触发器速率、峰值内存带宽和所需的计算内存比下面是一个应用矩阵乘法的CUDA代码的一部分。矩阵</e

浏览 8提问于2020-02-16得票数 1

回答已采纳

1回答

CUDA如何在运行时在内核中创建共享内存中的数组？

cuda

我的任务是运行大量的线程，每个线程做一个小的矩阵乘法。所有的小矩阵都已加载到全局内存中。我希望通过让每个线程将其小矩阵加载到共享内存中，然后计算乘积来提高性能。但问题是，我不知道编译时矩阵的大小。所以我不能像在__shared__ double mat1[XSIZE][YSIZE]中那样创建变量。在PC上，我会进行动态分配。但我不知道我是否可以在

浏览 1提问于2011-12-25得票数 1

回答已采纳

1回答

Nvidia体系结构中的算术强度

cuda、nvidia

算法的一个主要步骤需要计算大量的 (就像一个点积，但在矩阵上--一个元素乘法，然后是乘积的求和)。数据结构使得我可以将所有东西存储在GPU的全局内存中，而不能存储在共享内存中。显然，这太大了，无法存储在共享内存中，即使在每个SM块中也是如此。或者更准确地说，在这种情况下，双精度乘法需要多少次

浏览 3提问于2013-06-05得票数 1

回答已采纳

点击加载更多