问Tensorflow多线程数据竞赛
EN

Stack Overflow用户

提问于 2018-02-13 05:14:44

回答 1查看 85关注 0票数 3

在并发读取和更新权重时，Tensorflow中避免权重不一致的最佳实践是什么？

目前，我正在做一个简单的Q学习的棋盘游戏。典型的步骤是:使用神经网络选择最佳步长，使用奖励+选择步长的Q值来更新当前值。

因为它是按顺序发生的，所以我的GPU使用率非常低(大约10%)。为了加快速度，我计划运行多个代理，并使用队列存储数据点，分批处理它们以更新权重。

Tensorflow提供了SyncReplicasOptimizer，但根据文档，它有一个屏障，等待所有工作者在每一步完成，更新权重，然后恢复所有工作者。当所有其他线程都在等待最长的工作线程时，这仍然会导致GPU利用率较低。

我想通过消除障碍来实现更高的速度。这意味着，当训练器线程更新权重时，工作人员正在读取NN的权重以计算分数。

在避免数据竞争的同时仍能充分利用GPU的最佳实践是什么？

发布于 2018-02-13 18:15:50

您可以使用两个独立的网络。

一个建立在GPU上的后部支撑发生的地方。另一个是在CPU上构建的，所有代理线程之间共享操作，因此它们可以使用它来获取分数并采取最佳操作。

在每次k迭代之后，您可以使用tf.assign将GPU网络的权重分配给CPU网络。

这允许更高的GPU利用率和更好的收敛，因为CPU网络充当很少更新的目标网络，因此导致较少的损失。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/48755614

复制

相似问题

问Tensorflow多线程数据竞赛EN