1回答
多GPU训练不会减少训练时间。
tensorflow、keras、multi-gpu
为了评价多GPU训练的效果，我尝试了三种使用角点分割的UNet模型。
First模型在1 GPU (P100)上使用1批大小进行训练。每个训练步骤约254毫秒。(请注意，这是步骤，而不是划时代)，第二模型是使用2个批次大小使用1个GPU (P100)训练的。每个训练步骤采用~399 was，第三模型用2个GPU (P100)进行2批训练。每个训练步骤约370。从逻辑上讲，它应该与第
浏览 2提问于2020-03-24得票数 2
回答已采纳
1回答
数据并行性对训练结果的影响
machine-learning、neural-network、multiprocessing、tensorflow、deep-learning
我目前正在尝试使用Tensorflow网络实现多GPU培训。一种解决方案是每个GPU运行一个模型，每个GPU都有自己的数据批，并在每次训练迭代之后组合它们的权重。换句话说，“数据并行”。例如，如果我使用两个GPU，与它们并行训练，然后组合它们的权重，那么与在一个GPU上进行这两个数据批的训练相比，产生的权重不应该是不同的吗？因为两个GPU具有相同的输入权重，而单个GPU</
浏览 4提问于2016-11-17得票数 3
回答已采纳
1回答
TensorFlow Slim - cpu上的克隆
tensorflow
在以下代码段中，“使用CPU部署克隆”意味着什么？ 'clone_on_cpu', False,)
浏览 2提问于2017-08-28得票数 1
回答已采纳
1回答
模型并行在tensorflow中的实现
parallel-processing、tensorflow、distributed
我目前正在开发一个有2个GPU的系统，每个GPU的容量为12 of。我想在两个GPU之间实现模型并行，以训练大型模型。我一直在互联网上浏览，所以，tensorflow文档等等，我能够找到关于模型并行性的解释及其结果，但是我没有找到一个关于如何使用tensorflow实现它的小教程或小代码片段。在tensorflow中是否有实现模型并行的特定或更清晰的方法？如果您能建议我一个可以学习实现它的地方，或者使用‘模型并行’在多个GPU上进行m
浏览 1提问于2017-02-06得票数 9
回答已采纳
1回答
mxnet gpu支持中的多处理
python、multiprocessing、mxnet
我有一个由mxnet gpu支持训练的模型，我将这个模型加载到gpu上。我的问题是，当我多进程时，我得到一个无效的指针error.how来做多处理在mxnet图形处理器支持？
浏览 1提问于2019-10-16得票数 0
1回答
如何使用Keras将数据均匀地分配到多个GPU
deep-learning、keras、tensorflow、gpu
我使用的是Tensorflow-gpu=2.0.0后端的Keras=2.3.1。当我在两个RTX 2080 ti 11G gpu上训练模型时，它将所有的数据分配给'/gpu:0'，没有任何变化与'/gpu:1‘。当然，第二个GPU根本没有使用。但是，如果我只选择一个GPU，每个GPU都可以工作。
此外，这两个gpus可以并行运行，在毕道尔。按照一些实例，我尝试使用以下代码运行多个gpu
浏览 0提问于2020-09-04得票数 1
1回答
tensorflow多GPU训练
python、ubuntu、tensorflow、deep-learning
我按照tensorflow 1.2.0：上的教程创建了一个多GPU训练系统
在创建多GPU版本之前，我能够在单个GPU上容纳64个批处理大小。我想如果我按照上面的教程创建一个多GPU版本的代码，我可以通过数据并行化来适应更多的批处理。我希望使用4个GPUS，每个GPUS的批处理大小为64，但我面临内存不足的问题。当使用批处理大小为64时，我只能使用2个GPUS进行数据并行化；当使用批处理大小为32时，我只能使用4个G
浏览 18提问于2017-06-28得票数 1
1回答
我非常有兴趣了解GPU如何并行不同的任务，如实时渲染和训练神经网络。我知道并行化背后的数学原理，但我很想知道GPU到底是如何工作的。实时绘制和训练神经网络是不同的.GPU如何有效地并行这两个任务？
浏览 3提问于2020-05-07得票数 0
回答已采纳
1回答
在特定NUMA节点上固定和分配tensorflow
python、tensorflow、numa
使用Keras的multi_gpu_model通过单机多GPU数据并行来训练神经网络模型。 如何指示TF仅在NUMA节点1上分配内存并执行TF工作进程(合并权重)？或者我必须退回到set_mempolicy()/numactl (LINUX)？
浏览 16提问于2019-09-30得票数 1
1回答
训练时单GPU和多GPU设置的损失是否相同(Tensorflow)？
tensorflow、deep-learning、gpu
我正在训练一个语义切分模型。我使用的批处理大小为10个图像上的一个单一的GPU培训。我同时使用相同的超参数在多GPU (3 GPU)设置上进行训练.对于多GPU，我使用的批处理大小为30张图像，即每GPU 10张图像.从理论上讲，在训练过程中，每个阶段的每一步损失值是否应该是单个GPU和多GPU训练过程中相同的值范围？
就我而言，这不是我目前在<
浏览 2提问于2019-01-31得票数 0
回答已采纳
1回答
Tensorflow在GPU上比CPU上慢
tensorflow、keras、gpu、tensorflow2.x
使用带有Tensorflow后端的Keras，我正在尝试训练LSTM网络，在GPU上运行它比在CPU上运行要花费更长的时间。keras-gpu 2.2.4 0看来Tensorflow正在使用GPU
浏览 0提问于2019-06-25得票数 4
回答已采纳
1回答
GFlops量对神经网络训练速度的影响
tensorflow、neural-network、computation
如果一个gpu/cpu拥有两倍的GFlops，那么另一个是否意味着该设备上的神经网络的训练速度将提高一倍？
浏览 1提问于2018-04-04得票数 1
回答已采纳
1回答
如何用不同的数据在不同的GPU上独立并行运行相同的Keras模型？
python、tensorflow、parallel-processing、keras
如果我有两个或更多的GPU，有没有一种方法可以在GPU0上并行训练model0，在GPU1上并行训练data1上的model1？到目前为止，我发现的所有方法都将单个模型的训练分散到多个gpus上。
浏览 2提问于2018-08-09得票数 0
1回答
如何使用多个GPU通过Tensorflow进行单独的训练？
tensorflow、gpu、distributed-computing、multi-gpu
我阅读了许多关于在TensorFlow中使用多个GPU的文章和帖子。它帮助我学习了更多关于“如何使用并行GPU来训练神经网络”(how to use parallel GPU to train ( here network))。但我有一个不同的问题。可以使用单独的GPU同时训练不同的NN吗？ 更多详细信息： 我有神经网络A，B，和GPU1，GPU2。我想同时在GPU1上训练A NN，在GPU
浏览 12提问于2021-01-20得票数 0
2回答
TensorFlow多gpu训练中的模型并行性
tensorflow
我正在使用tensorflow在一台机器上训练几个GPU中的模型。然而，我发现速度比在一个GPU上训练要慢得多。我想知道tensorflow是否在不同的GPU中并行地或顺序地执行子模型。例如：y = 2 z1 = tf.multiply(x, y)
with tf.device('/gpu:1'):z2 = tf.ad
浏览 2提问于2018-04-02得票数 0
回答已采纳
1回答
如果CNN模型在CNN 10/100上都进行了角化训练，那么如何在一幅图中绘制精确/丢失图？
python、tensorflow、matplotlib、parallel-processing、conv-neural-network
在卷积神经网络中使用cifar10、cifar100等基准图像数据集是一种标准的做法，我想知道是否可以在两种不同的数据集上同时使用cifar10、cifar100来进行训练。我认为我们可以并行运行代码，并将训练模型输出封装在一个字典中，然后在一个图中绘制准确性/丢失图。我尝试了几种不同的方法来实现这一点，我总是被cifar10和cifar100的并行运行所困扰。我用nivdia GPU进行实验，但不一定要运行CNN并行的两个不同的数据集？有什么方法可以让这件事在tensorfl
浏览 8提问于2020-08-08得票数 1
回答已采纳
2回答
tensorflow:多GPU与分布式tensorflow的区别
tensorflow、deep-learning
在代码中没有使用集群和服务器的情况下，我看到了一些关于多GPU的例子。非常感谢!
浏览 4提问于2016-06-09得票数 10
回答已采纳
2回答
TensorFlow中序列到序列模型的分布式(多设备)实现？
gpgpu、tensorflow、multi-gpu、lstm、recurrent-neural-network
是一个非常好的教程，在TensorFlow中训练序列到序列模型.我只想知道是否有一个分布式版本的，它利用(一组GPU)在单机上获得更好的性能？已经提到，可以训练一个大型的多层递归神经网络(参见图8和“模型并行训练”部分)。有谁知道目前的教程是否涵盖模型并行培训？如果没有，如何改进最初的教程来利用一组GPU？
浏览 2提问于2016-03-03得票数 2
回答已采纳
1回答
如何并行化训练？
python、multithreading、machine-learning、theano
有没有办法进行多线程训练？
是的，也许这是个西亚诺的问题。还有进一步的问题:培训是否可以与OMP_NUM_THREADS__并行化？因为我不能检查，因为OMP_NUM_THREADS不做这件事。那我该为我的布拉斯操心了吗？
浏览 11提问于2015-05-26得票数 2
回答已采纳
1回答
使用多GPU方法的tensorflow分布式训练混合
machine-learning、tensorflow、deep-learning、distributed、multi-gpu
在尝试了当前的分布式训练实现后，我认为它将每个GPU视为一个单独的worker.However，现在在一个盒子中有2~4个GPU是很常见的。采用单盒多GPU方法首先计算单盒中的平均梯度，然后跨多个节点同步，不是更好吗？这种方式大大减轻了I/O流量，而I/O流量一直是数据并行性的瓶颈。有人告诉我，在目前的实现中，可以通过将所有GPU放在一个盒子中作为工作程序，但我无法弄清楚如何将平均梯度与SyncReplicasOptimizer联系起来，因为Sync
浏览 14提问于2016-09-20得票数 0
云服务器
ICP备案
对象存储
云点播
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号