任何有使用vast.ai进行云计算的经验的人都知道,当租用多个GPU时,您需要做一些设置来利用额外的GPU吗?
因为当租用6或8个GPU而不是仅仅一个GPU时,我不会注意到速度上的任何差异。我刚开始使用vast.ai进行云计算。
我使用的是默认的码头:用于深度学习框架TensorFlow ()的正式对接图像。
成功加载了tensorflow/tensorflow:夜-GPU-py3
然后再安装keras:
pip install keras
我还使用此方法检查了可用的GPU,所有GPU都被正确检测到:
from keras import backend as K
K.tensorflow_b
当模型被训练在GPU上时,我正在研究从CPU中预取数据到GPU中。与GPU模型训练重叠的CPU到GPU数据传输似乎需要两者同时进行。
用data = data.cuda(non_blocking=True)向GPU传输数据
使用train_loader = DataLoader(..., pin_memory=True)将数据引脚到CPU内存
但是,我无法理解如何在这个中执行非阻塞传输,特别是这个代码块:
for i, (images, target) in enumerate(train_loader):
# measure data loading time