稀疏连接网络Keras
稀疏连接网络Keras
提问于 2020-09-10 03:44:00
我正在使用Keras中的定制网络，这些网络往往是稀疏的，而不是密集连接的，但存在一个问题。在MNIST数据集上训练和评估网络结果通常需要10秒，而这些稀疏连接的网络每个需要大约15分钟，这是一个非常大的差异，所以我在这里担心的是-这是连接不良的稀疏连接网络的正常行为，还是其他什么？另外，我使用的优化器是SGD，但我不认为它是这个问题的原因。
回答 1
Stack Overflow用户
发布于 2020-09-10 04:17:56
您可能需要发布来自密集和稀疏网络的一些输出，但如果您没有更改除网络之外的任何其他参数，那么我会说时间增加是正常的。然而，我需要知道两个网络的确切架构才能100%确定。
您还提到您正在使用优化器SGD，我相信这也是非常好的。但是，如果您想要提高训练速度，我建议您研究Adam优化器。这是因为，虽然SGD在寻找最小值方面更好地泛化，但Adam更快。Here是一篇关于SGD和Adam之间的差异的博客文章，它将在您的特定情况下工作。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/63818561
复制相关文章
相似问题
腾讯云开发者
