Tensorflow多线程数据竞赛
提问于 2018-02-12 21:14:44
在并发读取和更新权重时，Tensorflow中避免权重不一致的最佳实践是什么？
目前，我正在做一个简单的Q学习的棋盘游戏。典型的步骤是:使用神经网络选择最佳步长，使用奖励+选择步长的Q值来更新当前值。
因为它是按顺序发生的，所以我的GPU使用率非常低(大约10%)。为了加快速度，我计划运行多个代理，并使用队列存储数据点，分批处理它们以更新权重。
Tensorflow提供了SyncReplicasOptimizer，但根据文档，它有一个屏障，等待所有工作者在每一步完成，更新权重，然后恢复所有工作者。当所有其他线程都在等待最长的工作线程时，这仍然会导致GPU利用率较低。
我想通过消除障碍来实现更高的速度。这意味着，当训练器线程更新权重时，工作人员正在读取NN的权重以计算分数。
在避免数据竞争的同时仍能充分利用GPU的最佳实践是什么？
回答 1
Stack Overflow用户
发布于 2018-02-13 10:15:50
您可以使用两个独立的网络。
一个建立在GPU上的后部支撑发生的地方。另一个是在CPU上构建的，所有代理线程之间共享操作，因此它们可以使用它来获取分数并采取最佳操作。
在每次k迭代之后，您可以使用tf.assign将GPU网络的权重分配给CPU网络。
这允许更高的GPU利用率和更好的收敛，因为CPU网络充当很少更新的目标网络，因此导致较少的损失。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/48755614
复制相关文章
腾讯云开发者
