神经网络激活函数总结

激活函数总结

  1. sigmoid
  2. tanh
  3. ReLU
  4. Leaky ReLU
  5. Maxout
  6. ELU

sigmoid

数学表示:

不建议使用,容易饱和

tanh

数学表示:

ReLU

数学表示:

建议使用, 但是注意学习率,保证ReLU激活

Leaky ReLU

数学表示:

Maxout

数学表示:

ELU

数学表示:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏null的专栏

深度学习算法原理——稀疏自编码器

注:最近打算将UFLDL教程重新看一遍,其实里面有很多关于神经网络以及深度学习的知识点很有用,但是只是学习深度学习的话有一些内容就有点多余,所以想整理一个笔记,...

4206
来自专栏新智元

【前沿】TensorFlow Pytorch Keras代码实现深度学习大神Hinton NIPS2017 Capsule论文

【新智元导读】10月26日,深度学习元老Hinton的NIPS2017 Capsule论文《Dynamic Routing Between Capsules》终...

3727
来自专栏PaddlePaddle

【序列到序列学习】生成古诗词

生成古诗词 序列到序列学习实现两个甚至是多个不定长模型之间的映射,有着广泛的应用,包括:机器翻译、智能对话与问答、广告创意语料生成、自动编码(如金融画像编码)...

2786
来自专栏算法与数据结构

网易C++面试题--安置路灯

为了让问题更简单,小Q把道路视为n个方格,需要照亮的地方用'.'表示, 不需要照亮的障碍物格子用'X'表示。

803
来自专栏AI研习社

博客 | AI 从业者都应该知道的实验数据集

少了数据,我们的机器学习和深度学习模型什么也干不了。这么说吧,那些创建了数据集、让我们可以训练模型的人,都是我们的英雄,虽然这些人常常并没有得到足够的感谢。让人...

822
来自专栏AI研习社

7个深度神经网络可视化工具,不可错过!

TensorBoard:TensorFlow 集成可视化工具 GitHub 官方项目:https://github.com/tensorflow/tenso...

1K4
来自专栏利炳根的专栏

学习笔记CB010:递归神经网络、LSTM、自动抓取字幕

递归神经网络(RNN),时间递归神经网络(recurrent neural network),结构递归神经网络(recursive neural network...

5654
来自专栏CreateAMind

分别学习 时 | 空 特征 - 通过层级betaVAE

前面介绍了Variational Inference NIPS2016 Variational Inference全面介绍ppt 及视频

591
来自专栏磐创AI技术团队的专栏

ChatGirl 一个基于 TensorFlow Seq2Seq 模型的聊天机器人

简介 ? 还在开发中,它工作的效果还不好。但是你可以直接训练,并且运行。 包含预处理过的 twitter 英文数据集,训练,运行,工具代码,可以运行但是效果有待...

3398
来自专栏AI启蒙研究院

【干货分享】吴恩达老师的视频教程

873

扫码关注云+社区