专栏首页简书专栏深度学习问题1-5

深度学习问题1-5

1.写出常用的激活函数及其导数

参考链接:https://blog.csdn.net/colourful_sky/article/details/79164720

1.Sigmoid

Sigmoid又叫作 Logistic 激活函数,它将实数值压缩进 0 到 1 的区间内,还可以在预测概率的输出层中使用。该函数将大的负数转换成 0,将大的正数转换成 1。 Sigmod数学公式为:

image.png

Sigmod的导数公式为:

image.png

2.Tanh

Tanh 激活函数又叫作双曲正切激活函数(hyperbolic tangent activation function)。与 Sigmoid 函数类似,Tanh 函数也使用真值,但 Tanh 函数将其压缩至-1 到 1 的区间内。与 Sigmoid 不同,Tanh 函数的输出以零为中心,因为区间在-1 到 1 之间。你可以将 Tanh 函数想象成两个 Sigmoid 函数放在一起。在实践中,Tanh 函数的使用优先性高于 Sigmoid 函数。负数输入被当作负值,零输入值的映射接近零,正数输入被当作正值。 Tanh的数学公式为:

image.png

Tanh的导数公式为:

image.png

3.Relu

Relu 中文名叫做修正线性单元,是现在使用最广泛的函数。 Relu的数学公式为:

image.png

Relu的导数公式为:

image.png

2.神经网络训练时是否可以将参数全部初始化为0?

不可以,如果将参数全初始化为0,那同一隐层每个节点的值都相同,反向传播权值更新也相同,这样每层隐层的神经元都相同,学习失败。

3. 多层感知机表示异或逻辑时最少需要几个隐层?

2

4.为什么Sigmoid和Tanh激活函数会导致梯度消失的现象?

因为权值是通过BP更新的,sigmoid的导数最大值是0.25,tanh的导数最大值是1。 也就是说这两个函数的梯度都是<=1的,根据链式法则,梯度会衰减,以至梯度消失。

5.写出多层感知机的均方误差和交叉熵损失函数?

交叉熵损失函数用于分类问题,公式为:

image.png

均方误差用于回归问题,常见表达形式为MSE,是mean squared error的简写。 公式为:

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习环境搭建-Anaconda5.2、CUDA9.0、cudnn7.3、pytorch1.0.1的安装

    百度云盘下载链接: https://pan.baidu.com/s/1ACJSry3egBGin-w50RwtyQ 提取码: cs6y 本文作者在链接中上传了...

    潇洒坤
  • 程序员制作网站告白女朋友

    链接: https://pan.baidu.com/s/1zfuhR8w3DlxsleU6phglBw 密码: ugbx python2很小,只有20M。下载...

    潇洒坤
  • 基于Excel2013的数据转换和清洗

    数字可以被设成的格式有12种:常规、数值、货币、会计专用、日期、时间、百分比、分数、科学记数、文本、特殊、自定义

    潇洒坤
  • Windows建站面板工具很多,大多有漏洞,选择需谨慎,phpstudy最坑

    https://cloud.tencent.com/announce/detail/800

    shawyang
  • QT5中操作QWidgetItem下的集合元素

    Sindsun
  • QT5获取文件信息

    Sindsun
  • 我的播放器0---音视频基础

    MPEG-4 Part 14定义了MPEG-4文件格式,即mp4后缀文件。mp4文件格式只是MPEG-4标准中的一小部分

    瑶瑶
  • 把Youtube视频下载成mp3

    很多人喜欢在youtube上看视频,有时候想把视频转成mp3格式随身听,小编收集了一些下载方法~希望对你们有用。

    JJojo
  • 使用安卓手机远程linux云主机

    1、手机浏览器下载安装JuiceSSH(如果有些应用商店可以找到这个app,可以在应用商店下载安装)

    cdc
  • 斯坦福大学密码学-零碎 08

    CTX:上下文字符串,是一个唯一的字符串,作为应用的身份。在一个系统中可能有多个应用。多个应用试着建立多个安全密钥。CTX试图将它们区分。

    静怡

扫码关注云+社区

领取腾讯云代金券