更新指令OpenACC
更新指令OpenACC
提问于 2017-01-16 03:58:02
当我在顶部循环中有一个内核时，为什么我不能使用这两个指令：
#pragma acc update device(hbias[0:n_hidden],W[0:n_hidden][0:n_visible])
#pragma acc update device(vbias[0:n_visible)我需要在下面的代码中更新这些变量hbias，vbias，W，但是它不能工作：
void RBM::contrastive_divergence(int train_X[6][6], double learning_rate, int k) {
double r= rand() / (RAND_MAX + 1.0);
int * input = new int[n_visible];
double *ph_mean = new double[n_hidden];
int *ph_sample = new int[n_hidden];
double *nv_means = new double[n_visible];
int *nv_samples = new int[n_visible];
double *nh_means = new double[n_hidden];
int *nh_samples = new int[n_hidden];
#pragma acc kernels
for (int i = 0; i<train_N; i++) {
for (int j = 0; j< n_visible; j++){
input[j] = train_X[i][j];
}
sample_h_given_v(input, ph_mean, ph_sample,r);
for (int step = 0; step<k; step++) {
if (step == 0) {
gibbs_hvh(ph_sample, nv_means, nv_samples, nh_means, nh_samples,r);
}
else {
gibbs_hvh(nh_samples, nv_means, nv_samples, nh_means, nh_samples,r);
}
}
for (int i = 0; i<n_hidden; i++) {
for (int j = 0; j<n_visible; j++) {
W[i][j] += learning_rate * (ph_mean[i] * input[j] - nh_means[i] * nv_samples[j]) / N;
}
hbias[i] += learning_rate * (ph_sample[i] - nh_means[i]) / N;
}
//this directive
#pragma acc update device(hbias[0:n_hidden],W[0:n_hidden][0:n_visible])
for (int i = 0; i<n_visible; i++) {
vbias[i] += learning_rate * (input[i] - nv_samples[i]) / N;
}
//and this directive
#pragma acc update device(vbias[0:n_visible)
}
delete[] input;
delete[] ph_mean;
delete[] ph_sample;
delete[] nv_means;
delete[] nv_samples;
delete[] nh_means;
delete[] nh_samples;
}但是当我有许多独立的内核在每个嵌套循环上工作时，我可以更新变量：
void RBM::contrastive_divergence(int train_X[6][6], double learning_rate, int k) {
double r= rand() / (RAND_MAX + 1.0);
int * input = new int[n_visible];
double *ph_mean = new double[n_hidden];
int *ph_sample = new int[n_hidden];
double *nv_means = new double[n_visible];
int *nv_samples = new int[n_visible];
double *nh_means = new double[n_hidden];
int *nh_samples = new int[n_hidden];
for (int i = 0; i<train_N; i++) {
#pragma acc kernels
for (int j = 0; j< n_visible; j++){
input[j] = train_X[i][j];
}
sample_h_given_v(input, ph_mean, ph_sample,r);
#pragma acc kernels
for (int step = 0; step<k; step++) {
if (step == 0) {
gibbs_hvh(ph_sample, nv_means, nv_samples, nh_means, nh_samples,r);
}
else {
gibbs_hvh(nh_samples, nv_means, nv_samples, nh_means, nh_samples,r);
}
}
#pragma acc kernels
{
for (int i = 0; i<unhidden; i++) {
for (int j = 0; j<n_visible; j++) {
W[i][j] += learning_rate * (ph_mean[i] * input[j] - nh_means[i] * nv_samples[j]) / N;
}
hbias[i] += learning_rate * (ph_sample[i] - nh_means[i]) / N;
}
//this directive
#pragma acc update device(hbias[0:n_hidden],W[0:n_hidden][0:n_visible])
}
#pragma acc kernels
{
for (int i = 0; i<n_visible; i++) {
vbias[i] += learning_rate * (input[i] - nv_samples[i]) / N;
}
//and this directive
#pragma acc update device(vbias[0:n_visible)
}
}
delete[] input;
delete[] ph_mean;
delete[] ph_sample;
delete[] nv_means;
delete[] nv_samples;
delete[] nh_means;
delete[] nh_samples;
}回答 1
Stack Overflow用户
发布于 2017-01-17 05:47:45
"Update“指令只能在主机代码中使用，因为数据移动必须从主机启动。您不能将它们放在一个计算区域内。
这段代码有很多问题。首先，对于嵌套循环，使用相同的索引变量(在本例中为"i“)可能是一种糟糕的做法。尽管作用域规则允许这样做，但这使得很难判断代码应该使用哪个"i“。
外部的"i“循环可能并行化是不安全的，所以你不应该把"kernels”指令放在这个循环之外。(您还需要确定其他数组是需要私有的，还是全局的，因此需要原子操作)。
我的建议是，首先在内部循环周围放置“#杂注acc并行循环”，一次一个。在继续下一个之前，确保每一个都能正常工作。此外，我非常怀疑"step“循环是否可并行化，因此您很可能需要在"gibbs_hvh”子例程中将循环并行化。
由于您使用的是CUDA Unified Memory (-ta=tesla:managed)，因此可能不需要添加数据区域。但是，如果您计划将来不使用托管内存，下一步将是在外部"i“循环周围添加数据指令(或者在程序中的较高位置，然后在外部"i”循环之后使用update指令来同步数据)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/41665671
复制相关文章
相似问题
腾讯云开发者
