ReLu，ELU，SELU的损失函数
ReLu，ELU，SELU的损失函数
提问于 2020-12-05 23:42:33
问题
对于每个不同的激活函数，损失函数是什么？
背景
神经网络损失函数的选择取决于神经网络的激活函数。对于乙状结肠激活，交叉熵日志丢失导致权值更新z(z - label) * x的简单梯度形式，其中z是神经元的输出。
这种简单的日志丢失是可能的，因为乙状结肠的导数使它成为可能，在我的理解。乙状结肠以外的激活函数不具有乙状结肠的这种性质，这与日志丢失不是很好的组合。那么ReLu，ELU，SELU的损失函数是什么？
参考资料
回答 1
Data Science用户
回答已采纳
发布于 2020-12-06 00:13:49
这个问题需要一些初步的澄清，国际水文学组织。激活函数和丢失函数的选择都取决于您的任务，取决于您想要解决的问题类型。下面是一些示例：
- 如果你训练一个二进制分类器，你可以解决乙状结肠激活+二进制交叉熵损失的问题。
- 如果您正在训练多类分类器，则需要使用softmax激活+交叉熵损失。
- 如果你训练一个回归者，你需要一个适当的激活功能，通常是MSE或MAE损失。对于“适当”，我指的是线性，如果输出是无界的，或者如果您的输出只取正值，则为ReLU。这些都是无数的例子。
这里使用激活函数，我指输出层的激活。执行最终预测分数的激活不一定(而且通常不是)与隐藏层中使用的激活相同。
ELU和SELU通常用于神经网络的隐藏层，我个人从未听说过ELU或SELU在最终输出方面的应用。
最终激活函数和损失函数的选择都取决于任务，这是实现一个好的神经网络的唯一标准。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/86308
复制相关文章
相似问题
腾讯云开发者
