RNN的最佳设备放置策略？
RNN的最佳设备放置策略？
提问于 2017-02-24 14:54:58
考虑一个简单的n层堆叠RNN (LSTM、GRU等)对于顺序预测，最有效的设备放置策略是什么(如果有多个GPU可用)？我认为最好是为RNN的每一层提供一个GPU，但是softmax和损失计算呢？它们应该也放在GPU上还是放在CPU上？此外，如果我们再增加一个注意力机制，是否应该把注意力放在中央处理器上呢？
回答 1
Stack Overflow用户
发布于 2017-03-01 00:56:02
这是一个活跃的研究领域；一般来说，它取决于您的网络的具体情况。也许你想把softmax和损耗放在同一个GPU上(如果合适的话)；可能放在顶层的GPU上，或者放在gpu:0上。关于注意力，我不认为有一个非常明确的答案。这取决于你的注意力权重的大小，等等。在这些情况下，你最好的选择就是尝试我为softmax/loss推荐的两个位置。这就给你留下了一个有4个可能位置的网格搜索。全部尝试，然后返回报告:)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42432526
复制相关文章
相似问题
腾讯云开发者
