我想了解Dask对象的有效内存管理过程。我已经设置了一个Dask GPU集群,并且我能够执行跨该集群运行的任务。然而,使用dask对象,特别是当我运行计算函数时,在GPU上运行的进程会随着使用越来越多的内存而快速增长,很快我就会收到“内存不足错误”。 我想知道如何在使用完dask对象后释放它们。在下面的示例中,在计算函数之后,我如何释放该对象。我运行了几次以下代码。内存在它运行的进程中不断增长。import cupy as cp
im
我正在使用Dask和Rapidsai在一个大型(6.9 on )数据集上运行xgboost模型。硬件是4x2080TI,每个都有11 GB内存。LocalCUDACluster(n_workers=4) as cluster: raw_data = dask_cudf.read_csvobjects for training and testing'
model = 'Custom gridsearch fu