为什么当我们有ReLU的时候，sigmoid/tanh激活函数仍然用于深度神经网络？
为什么当我们有ReLU的时候，sigmoid/tanh激活函数仍然用于深度神经网络？
提问于 2016-07-10 20:31:28
从各个方面看，ReLU比乙状结肠或tanh更适合于深层神经网络：
- 简单
- 在生物学上更合理
- 无梯度消失
- 性能更好
- 稀疏性
我只看到sigmoid/tanh的一个优点:它们是有界的。这意味着当你继续训练的时候，你的活动不会爆炸，你的网络参数也不会飞向天空。
为什么我们不应该忘记乙状结肠/坦克的深层神经网络呢？
回答 3
Data Science用户
回答已采纳
发布于 2016-07-11 11:18:15
- 在某些具有对称激活层的网络结构中，具有优势(例如某些自动编码器)。
- 在某些情况下，具有平均值为0的激活是很重要的(因此tanh是有意义的)。
- 乙状结肠在输出层的激活对于分类仍然很重要。
在95%的病例中，ReLU要好得多。
Data Science用户
发布于 2016-07-11 11:51:12
乙状结肠有助于控制激活，不像ReLu，它会炸掉它。西格莫德不太适合。看看这。
我仍然会要求您从ReLu开始进行培训，因为它在大多数情况下都表现得更好。
Data Science用户
发布于 2020-03-09 16:42:32
我想了三个案子：
- 二进制分类任务:您可以使用一个输出节点+ Sigmoid +二进制交叉熵损失来完成该任务。
- 多个独立的分类:当一个观察可以分为两个或两个以上的类别，并且每个类别独立于其他类别。在这种情况下，即使有许多输出节点，最终的激活函数也必须是Sigmoid。
- LSTM和GRU层包含Sigmoid和TanH门。它们具有正确的形状，可以让RNN确定有多少过去的信息必须被遗忘/丢弃/传递。(可以用ReLU来改变它们，但没有证据表明这可以提高递归层的内部性能。)
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/12706
复制相关文章
相似问题
腾讯云开发者
