深度学习概念-超参数调整权值RNN/LSTM
深度学习概念-超参数调整权值RNN/LSTM
提问于 2019-09-03 01:41:45
当我们建立一个模型并训练它时，初始权值被随机初始化，除非指定(种子)。
如我们所知，有许多参数，我们可以调整，如时代，优化，batch_size等，以找到“最佳”模型。
我遇到的问题是:即使我们在调优后找到了最好的模型，权重也会不同，产生不同的模型和结果。因此，如果我们用“最佳参数”编译并再次运行它，那么最好的模型可能就不是最好的了。如果我们在权重中添加可重现性的参数，我们就不知道这些参数是否是最佳的权重。另一方面，如果我们调整权重，那么“最佳参数”就不再是最佳参数了？我被困在一个循环里。与其他参数相比，是否有关于先调整哪些参数的一般指导方针？
或者这整个逻辑在某个地方都有缺陷，而我却想得太多了？
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-09-04 09:21:43
- 我们随机初始化权重，以确保每个节点的行为与其他节点不同(不对称)。
- 根据超参数(历元、批次大小等)，权重会被更新，直到迭代结束。最后，我们将更新后的权重称为模型。
- 种子用于控制初始化的随机性。如果我没有错，一个好的学习算法(目标函数和优化器)无论种子值如何都会收敛。
- 再一次，一个好的模型意味着调整所有的超参数，确保模型不是不合适的。
- 另一方面，即使是模型也不应该过分合适。
- 没有比最佳参数(权值、偏差)更好的了，我们需要不断地调整模型，直到得到满意的结果，主要部分是数据处理。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/57764089
复制相关文章
相似问题
腾讯云开发者
