问如何使随机梯度下降不会最终杀死所有权重
EN

Stack Overflow用户

提问于 2019-10-16 15:07:48

回答 1查看 41关注 0票数 0

据我所知，随机梯度下降的实现方式如下：

激活网络，读取输出神经元，与期望的输出进行比较，计算权重的导数，更新权重，使用新示例激活。

但是，假设我有以下数据集：

[
  { input: [0, 0], output: [0] },
  { input: [0, 1], output: [0] },
  { input: [1, 0], output: [0] },
  { input: [1, 1], output: [1] },
]

因此，如果我在4种情况中有3种情况下更新权重以减少输出神经元的输出，最终，随着时间的推移，我会将权重设置为0或关闭输出。

如果两个输入神经元都用1激活，哪种机制可以确保我的输出为1？

发布于 2019-10-16 16:49:36

我不确定是否有方法可以做到这一点。但是，当您有一个需要对其执行分类任务的数据集时，最好确保数据集中类的分布几乎均匀。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/58407604

复制

相似问题

问如何使随机梯度下降不会最终杀死所有权重EN