前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习问题1-5

深度学习问题1-5

作者头像
潇洒坤
发布2018-10-09 11:39:57
4860
发布2018-10-09 11:39:57
举报
文章被收录于专栏:简书专栏

1.写出常用的激活函数及其导数

参考链接:https://blog.csdn.net/colourful_sky/article/details/79164720

1.Sigmoid

Sigmoid又叫作 Logistic 激活函数,它将实数值压缩进 0 到 1 的区间内,还可以在预测概率的输出层中使用。该函数将大的负数转换成 0,将大的正数转换成 1。 Sigmod数学公式为:

image.png

Sigmod的导数公式为:

image.png

2.Tanh

Tanh 激活函数又叫作双曲正切激活函数(hyperbolic tangent activation function)。与 Sigmoid 函数类似,Tanh 函数也使用真值,但 Tanh 函数将其压缩至-1 到 1 的区间内。与 Sigmoid 不同,Tanh 函数的输出以零为中心,因为区间在-1 到 1 之间。你可以将 Tanh 函数想象成两个 Sigmoid 函数放在一起。在实践中,Tanh 函数的使用优先性高于 Sigmoid 函数。负数输入被当作负值,零输入值的映射接近零,正数输入被当作正值。 Tanh的数学公式为:

image.png

Tanh的导数公式为:

image.png

3.Relu

Relu 中文名叫做修正线性单元,是现在使用最广泛的函数。 Relu的数学公式为:

image.png

Relu的导数公式为:

image.png

2.神经网络训练时是否可以将参数全部初始化为0?

不可以,如果将参数全初始化为0,那同一隐层每个节点的值都相同,反向传播权值更新也相同,这样每层隐层的神经元都相同,学习失败。

3. 多层感知机表示异或逻辑时最少需要几个隐层?

2

4.为什么Sigmoid和Tanh激活函数会导致梯度消失的现象?

因为权值是通过BP更新的,sigmoid的导数最大值是0.25,tanh的导数最大值是1。 也就是说这两个函数的梯度都是<=1的,根据链式法则,梯度会衰减,以至梯度消失。

5.写出多层感知机的均方误差和交叉熵损失函数?

交叉熵损失函数用于分类问题,公式为:

image.png

均方误差用于回归问题,常见表达形式为MSE,是mean squared error的简写。 公式为:

image.png

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.09.11 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.写出常用的激活函数及其导数
    • 1.Sigmoid
      • 2.Tanh
        • 3.Relu
        • 2.神经网络训练时是否可以将参数全部初始化为0?
        • 3. 多层感知机表示异或逻辑时最少需要几个隐层?
        • 4.为什么Sigmoid和Tanh激活函数会导致梯度消失的现象?
        • 5.写出多层感知机的均方误差和交叉熵损失函数?
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档