2回答
我正在尝试理解Tensorflow镜像策略和Horovod分发策略之间的基本区别。从文档和源代码调查中，我发现Horovod (https://github.com/horovod/horovod)使用消息传递协议在多个节点之间进行通信。根据我的观察(我可能是错的)，镜像策略也使用all_reduce算法(https://
浏览 16提问于2019-03-06得票数 6
在运行培训之前，我似乎必须配置cluster_resolver，以启用对多个工作人员的分布式培训。
我正在使用数据库作为参考
浏览 2提问于2022-11-14得票数 0
我目前正在尝试比较Horovod和Tensorflow分布式API。在使用Horovod时，我可以访问当前使用的GPU总数如下：size = hvd.size()size = int(os.environ["WORLD_SIZE"])
我想要执行相同的操作，并获得目前使用的多GPU/节点与TF
浏览 0提问于2019-06-30得票数 1
回答已采纳
为此，我使用了在tensorflow站点上建议的tf.distribute.MirroredStrategy，但它不起作用。这是。
浏览 5提问于2021-03-04得票数 1
回答已采纳
1回答
我想使用我自己的梯度量化来执行数据并行SGD训练(以减少通信)。每个工作节点将编码(压缩)的梯度发送到主节点。主节点解码压缩的梯度并更新参数。我将使用我自己的编码(量化)和解码函数。
浏览 2提问于2018-12-11得票数 1
还试图设置ML_Engine的答案中提到的镜像策略，但是看起来GPU中的一个占用最多，而OOM仍然出现。也许它是一种“数据并行”，因为我已经将batch_size设置为1，因此无法解决我的问题？keras.layers import Dense, Flattenfrom keras.regularizers import l2
import tensorflow________________________________________________________
浏览 3提问于2021-04-20得票数 0
回答已采纳
1回答
我正在使用分布式的Tensorflow和镜像策略。我正在训练基于自定义估计的VGG16。但是，随着GPU数量的增加，培训时间也随之增加。
浏览 0提问于2019-09-03得票数 0
假设我想用Tensorflow开发和训练一个大的端到端深度学习模型(1.15，因为遗留的原因)。对象复杂，可以提取的特征类型很多:固定长度的数值特征向量、序列、无序集等。考虑到变量被放置在不同的GPU上，梯度计算和下降的代价会有多大？梯度是否也会与其对应的变量在相同的GPU上计算？
浏览 0提问于2020-02-14得票数 1
像Ray和horovod一样，我希望使用Apache Ignite框架运行tensorflow分布式，但我似乎找不到关于如何实现分布式培训的好例子。有没有什么好的笔记本或者教程？
浏览 13提问于2020-08-23得票数 1
我找不到任何关于如何在tensorflow中使用分发策略进行动态文件加载的文档或示例代码。但分发策略示例(镜像策略等)都显示了预先加载整个数据集，然后使用dataset.from_tensor_slices()并将其加载到strategy.experimental_distribute_dataset我尝试将上述keras中的动态加载方法与分布式批处理相结合，但似乎没有简单的方法可以将一些flow_from_directory输出转换为与strategy.experimental_dis
浏览 1提问于2019-08-28得票数 1
使用Horovod，您基本上可以运行N个独立的实例(因此它是图之间复制的一种形式)，它们通过特殊的Horovod操作(基本上是广播+减少)进行通信。使用Horovod广播将效率低下，因为您会将所有数据复制到所有实例。或者，答案可能是TensorFlow还没有提供任何这样的功能？(这将仍然是有用的了解。然后，我将在C++中实现自己的解决方案，包装为TensorFlow。但在这样做之前，最好知道这是否真的有必要。)(这个问题实际上比Horovod更通用，尽管Horovod可
浏览 13提问于2020-05-23得票数 8
我实施了一种分布式策略，在多个GPU上训练我的模型。现在我的问题是:当使用镜像策略时，这是否可能？我知道损失和梯度无论如何都是跨副本组合的，那么是否有一种方法可以将它们相加在副本之间，例如，在批处理中运行一个循环？我尝试了直截了当的方法，并返回了每个副本的计算梯度，以便在strategy.run()之外添加和应用它们，如下所示： per_replica_gradients+= per_replica_gradients
optimizer.apply_gradi
浏览 3提问于2021-12-08得票数 2
1回答
使用并行执行工具(如CUDA)，训练时间最多可减少1天(取决于CPU和GPU功能)。但是当使用CUDA时，GPU使用率在10%左右，并且训练时间仍然太长。
浏览 4提问于2021-04-29得票数 0
我在我的脚本中使用tensorflow.keras (在Windows10上使用TensorFlow2.1)，并按照说明为我的模型配置镜像策略。问题是，我的训练脚本在没有镜像策略代码的情况下运行得很好，但是使用镜像策略时，我得到了一个关于NCCL的错误。这看起来与以下问题完全相同： https://github.com/tensorflow/tensorflow/is
浏览 52提问于2020-04-01得票数 4
回答已采纳
在RabbitMQ集群中，我知道可以使用"queue_master_locator“策略的”masters“策略在不同的节点上使用它们的主服务器创建队列。这意味着队列不再被镜像(不能应用ha模式策略)，因为一次只能应用一个策略。有办法做到这两点吗？我基本上希望队列分布在集群节点上，因此减少了单个节点上的内存占用。
浏览 0提问于2018-11-19得票数 0
回答已采纳
问题
使用TensorFlow 1.14，我无法在GCP的AI-平台上获得可重复的结果.这使得超参数调优变得困难，因为我不确定性能的变化是由于超参数本身还是由于随机性。
浏览 3提问于2020-05-21得票数 0
回答已采纳
我正在尝试使用TensorFlow2.0中的tf.distributed.MirroredStrategy来使用有状态堆叠的LSTM层进行训练。下面是生成所需层的代码。对于上面的代码，我收到以下ValueError： conda-envs/TF2rc/lib/python3.6/site-packages/tensorflow_core/python/keras270 call conda-
浏览 47提问于2020-01-04得票数 0
3回答
我正在尝试创建一个非常大的Keras模型，并将其分布在多个GPU上。需要说明的是，我并不是想把同一模型的多个副本放在多个GPU上；我是想把一个大模型放在多个GPU上。我研究了Horovod，但是因为我有很多windows特定的日志工具在运行，所以我在犹豫是否要使用它。 这似乎只剩下tf.estimators可供我使用了。例如，tf.contrib.distribute中的哪种分发策略可以让我以我想要的方式有效地批量处理模型？ 我试图用估计器做的事情是可能的吗?如果可能，我应该使用哪种策略？
浏览 48提问于2019-02-06得票数 0
回答已采纳
我试图在databricks GPU集群上运行一些示例python3代码 (有一个驱动程序和两个工作人员)。数据库环境：它适用于分布式深度学习模式的训练。sparkdl import HorovodRunner print('in train')
import tensorflowThe pickled object size is 1444 byt
浏览 2提问于2020-07-11得票数 2
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
