我现在开始使用CUDA,不得不承认我对C API有点失望。我理解选择C语言的原因,但如果语言是基于C++的,几个方面会简单得多,例如设备内存分配(通过cudaMalloc
)。
我的计划是自己做这件事,使用重载的operator new
和placement new
和RAII (两个替代方案)。我想知道是否有什么我到目前为止还没有注意到的警告。代码似乎可以工作,但我仍然对潜在的内存泄漏感到疑惑。
RAII代码的用法如下:
CudaArray<float> device_data(SIZE);
// Use `device_data` as if it were a raw pointer.
也许在这种情况下,一个类有点过分了(特别是因为您仍然必须使用cudaMemcpy
,这个类只封装RAII),所以另一种方法是placement RAII
float* device_data = new (cudaDevice) float[SIZE];
// Use `device_data` …
operator delete [](device_data, cudaDevice);
在这里,cudaDevice
只是作为一个标签来触发重载。然而,由于在普通的位置new
中,这将指示位置,我发现语法奇怪地一致,甚至可能比使用类更可取。
我会感激每一种批评。也许有人知道下一个版本的CUDA是否计划在这个方向上做些什么(据我所知,这将改善它对C++的支持,不管他们是什么意思)。
所以,我的问题实际上有三个方面:
new
重载在语义上是正确的吗?它会泄漏内存吗?// Singleton tag for CUDA device memory placement.
struct CudaDevice {
static CudaDevice const& get() { return instance; }
private:
static CudaDevice const instance;
CudaDevice() { }
CudaDevice(CudaDevice const&);
CudaDevice& operator =(CudaDevice const&);
} const& cudaDevice = CudaDevice::get();
CudaDevice const CudaDevice::instance;
inline void* operator new [](std::size_t nbytes, CudaDevice const&) {
void* ret;
cudaMalloc(&ret, nbytes);
return ret;
}
inline void operator delete [](void* p, CudaDevice const&) throw() {
cudaFree(p);
}
template <typename T>
class CudaArray {
public:
explicit
CudaArray(std::size_t size) : size(size), data(new (cudaDevice) T[size]) { }
operator T* () { return data; }
~CudaArray() {
operator delete [](data, cudaDevice);
}
private:
std::size_t const size;
T* const data;
CudaArray(CudaArray const&);
CudaArray& operator =(CudaArray const&);
};
关于这里雇佣的单例:是的,我知道它的缺点。然而,这些在这个上下文中是不相关的。这里我所需要的是一个小的类型标签,它是不可复制的。其他的一切(比如多线程的考虑,初始化的时间)都不适用。
发布于 2008-11-19 01:26:17
我会采用新的布局方法。然后,我将定义一个符合std::allocator<>接口的类。理论上,您可以将此类作为模板参数传递给std::vector<>和std::map<>等。
注意,我听说做这样的事情充满了困难,但至少你会通过这种方式学到更多关于STL的知识。而且你不需要重新发明你的容器和算法。
发布于 2010-07-22 14:51:48
与此同时,还有一些进一步的发展(不是在CUDA API方面,但至少在尝试使用类似STL的方法进行CUDA数据管理的项目方面)。
最值得注意的是,NVIDIA research有一个项目:thrust
发布于 2008-11-19 17:55:57
有几个项目尝试了类似的东西,例如CUDPP。
然而,与此同时,我已经实现了自己的分配器,它工作得很好,而且很简单(> 95%的样板代码)。
https://stackoverflow.com/questions/299761
复制相似问题