首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >我应该在内部还是外部维度上声明一个带有GPU块编号的双精度数组?

我应该在内部还是外部维度上声明一个带有GPU块编号的双精度数组?
EN

Stack Overflow用户
提问于 2019-05-29 14:01:58
回答 1查看 28关注 0票数 1

我应该在内部还是外部维度上声明一个带有GPU块编号的双精度数组?

例如,我应该这样做吗?

代码语言:javascript
复制
int payload[LEN][BLOCKS];

代码语言:javascript
复制
int payload[BLOCKS][LEN];

其中LEN是一个非常大的数字。

我计划让每个块遍历双精度数组,保持块维度不变,并在LEN维度上迭代。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-05-29 14:01:58

假设您要以面向块的方式访问数据,则需要执行后者。这大概是因为当您加载"len“维度的第一个元素时,您已经为随后的7ish元素在缓存中丢失付出了代价。在第一种选择中,可能存在GPU块之间的高速缓存线共享,但共享相对有限,并且不是很低的级别。

实际上,下面的代码报告第二个选项需要0.481秒才能执行,而第一个选项需要0.979秒。将数据与外部维度上的块进行排列的性能大约是前者的两倍。

代码语言:javascript
复制
#include <cuda_runtime_api.h>
#include <cuda.h>

#include <string>
#include <chrono>
#include <iostream>

#define BLOCKS 80
#define LEN (1 << 20)

void CheckCudaErrorAux (const char *file, unsigned line, const char *statement, cudaError_t err) {
    if (err == cudaSuccess)
        return;
    std::cerr << statement<<" returned " << cudaGetErrorString(err) << "("<<err<< ") at "<<file<<":"<<line << std::endl;
    exit (1);
}
#define CUDA_CHECK_RETURN(value) CheckCudaErrorAux(__FILE__,__LINE__, #value, value)

struct Data1 {
    int payload[LEN][BLOCKS];
};

struct Data2 {
    int payload[BLOCKS][LEN];
};


__global__ void f1(Data1 * data1) {
    int sum = 0;
    for (int i = 0; i < LEN; ++i) {
        sum += data1->payload[i][blockIdx.x];
    }
    printf("block %i has f1 sum %i\n", blockIdx.x, sum);
}

__global__ void f2(Data2 * data2) {
    int sum = 0;
    for (int i = 0; i < LEN; ++i) {
        sum += data2->payload[blockIdx.x][i];
    }
    printf("block %i has f2 sum %i\n", blockIdx.x, sum);
}


int main() {

    Data1 * data1 = (Data1 *) malloc(sizeof(Data1));
    Data2 * data2 = (Data2 *) malloc(sizeof(Data2));;

    for (int i = 0; i < LEN; ++i) {
        for (int b = 0; b < BLOCKS; ++b) {
            data1->payload[i][b] = i * b;
            data2->payload[b][i] = i * b;
        }
    }

    Data1 * data1_on_gpu;
    CUDA_CHECK_RETURN(cudaMalloc(&data1_on_gpu, sizeof(Data1)));
    Data2 * data2_on_gpu;
    cudaMalloc(&data2_on_gpu, sizeof(Data2));
    CUDA_CHECK_RETURN(cudaDeviceSynchronize());
    cudaMemcpy(data1_on_gpu, data1, sizeof(Data1), cudaMemcpyHostToDevice);
    cudaMemcpy(data2_on_gpu, data2, sizeof(Data1), cudaMemcpyHostToDevice);
    CUDA_CHECK_RETURN(cudaDeviceSynchronize());


    std::chrono::time_point<std::chrono::system_clock> t1 = std::chrono::system_clock::now();

    f1<<<80,1>>>(data1_on_gpu);
    CUDA_CHECK_RETURN(cudaDeviceSynchronize());
    std::chrono::time_point<std::chrono::system_clock> t2 = std::chrono::system_clock::now();

    f2<<<80,1>>>(data2_on_gpu);
    CUDA_CHECK_RETURN(cudaDeviceSynchronize());
    std::chrono::time_point<std::chrono::system_clock> t3 = std::chrono::system_clock::now();


    std::chrono::duration<double> duration_1_to_2 = t2 - t1;
    std::chrono::duration<double> duration_2_to_3 = t3 - t2;
    duration_1_to_2.count();

    printf("timer for 1st took %.3lf\n", duration_1_to_2.count());
    printf("timer for 2nd took %.3lf\n", duration_2_to_3.count());

}
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56354017

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档