首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Tensorflow LSTM Dropout实现

Tensorflow LSTM Dropout实现
EN

Stack Overflow用户
提问于 2017-02-27 14:40:07
回答 1查看 5.7K关注 0票数 9
  • 在调用tf.nn.rnn_cell.DropoutWrapper()时,tensorflow如何具体地应用退出?

我所读到的所有关于将辍学应用于rnn的参考资料--这篇由Zaremba et.阿尔撰写的论文--说不要在重复的连接之间应用辍学。神经元应在LSTM层之前或之后随机脱落,而不应在LSTM层间脱落.好的。

  • 我的问题是,随着时间的推移,神经元是如何关闭的?

在每个人引用的文件中,似乎每个时间步骤都应用了一个随机的“退出掩码”,而不是产生一个随机的“退出掩码”并重用它,将它应用于被删除的给定层中的所有时间步骤。然后在下一批上生成一个新的“辍学掩码”。

更重要的是,现在更重要的是,tensorflow是如何做到的?我已经检查了tensorflow api,并试图搜索详细的解释,但还没有找到一个。

  • 有没有办法深入了解实际的tensorflow源代码?
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-02-27 17:19:20

您可以检查实现这里。

它对输入使用辍学作业,然后在输出上使用RNNCell,并使用您指定的保持概率。

似乎您输入的每一个序列都会得到一个新的掩码,用于输入,然后用于输出。序列内没有变化。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/42488475

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档