Dropout背后的想法
Dropout背后的想法
提问于 2022-10-24 13:45:55
我只需要检查一下我对辍学正规化技术的理解。根据我的理解，神经元可以以一种可以修复彼此错误的方式相互作用。因此，这会使模型对训练数据学习得太好，从而发生过度拟合。退出是一种技术，每一次训练的每一次重复都会随机丢弃神经元，每一次训练都需要一小批。这样做的效果很简单，就是我们强制神经元依靠自己，克服这种共适应效应。是那么回事吗？
回答 1
Data Science用户
发布于 2022-10-24 14:36:39
是的，这是正确的。如果将神经网络与人脑进行比较，它将类似于新的学习和预测适应性(否则它将被视为“精神病患者”)。
没有辍学就像学得太好，而不能够学到其他的新东西。事实上，神经网络无法修改其权重并学习新的东西，因为权重已经固定，无法自我修正。
这就是为什么神经网络学习过程需要一个很好的平衡和一些误差，就像人类的大脑需要一些怀疑，当知道一些东西。
因此，退出主要是为了使神经网络通过多次迭代继续学习。否则，它将达到一个门槛，新的数据无法学习。
当然，太多的辍学会导致学习不良。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/115536
复制相关文章
相似问题
腾讯云开发者
