神经网络激活函数总结

激活函数总结

  1. sigmoid
  2. tanh
  3. ReLU
  4. Leaky ReLU
  5. Maxout
  6. ELU

sigmoid

数学表示:

不建议使用,容易饱和

tanh

数学表示:

ReLU

数学表示:

建议使用, 但是注意学习率,保证ReLU激活

Leaky ReLU

数学表示:

Maxout

数学表示:

ELU

数学表示:

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小小挖掘机

推荐系统遇上深度学习(十九)--探秘阿里之完整空间多任务模型ESSM

阿里近几年公开的推荐领域算法有许多,既有传统领域的探索如MLR算法,还有深度学习领域的探索如entire-space multi-task model,Deep...

1124
来自专栏CDA数据分析师

如何利用 Excel 进行高级数据分析?

高级的数据分析会涉及回归分析、方差分析和T检验等方法,不要看这些内容貌似跟日常工作毫无关系,其实往高处走,MBA的课程也是包含这些内容的,所以早学晚学都得学,干...

2038
来自专栏智能算法

GBDT(梯度提升决策树)算法(简明版)

一、算法介绍 GBDT(Gradient Boosting Decision Tree) 又叫 MART(Multiple Additive Regr...

3689
来自专栏AI派

推荐系统EE问题与Bandit算法

生活中你可能会遇到类似的情况,你在网上购买了手机,淘宝之后会不断给你推送关于手机相关的商品;如果你看了关于NBA詹姆斯的相关新闻,今日头条之后会不断给你推送詹姆...

682
来自专栏大数据挖掘DT机器学习

用支持向量机预测第二天开盘趋势和股价的正负统计分析

监督式学习是机器学习的一个分支,可以通过训练样本而建立起一个输入和输出之间的函数,并以此对新的事件进行预测。 典型的监督学习流程如下: ? 支持向量机 是监督...

2924
来自专栏机器之心

观点 | 三大特征选择策略,有效提升你的机器学习水准

2517
来自专栏人工智能

轻知识库︱apple.Turicreate关系网络分析以及社群发现

号外,最近公众号刚刚接入聊天机器人,由于没有充值每天只能对话1000句...目前可以讲段子、查天气、故事大全、测星座、斗图、菜谱、列车查询、附近饭店等功能。 S...

2087
来自专栏数说工作室

最重要的一集 | 【SAS Says·扩展篇】IML:6.作业

咱们的SAS矩阵交互语言IML就要完结了,本文将会用IML编一个回归程序。无论你需要一元的还是多元的回归模型,该程序都能计算出模型的系数、t检验以及t检验的p值...

3338
来自专栏AI派

如何从文本中构建用户画像

一文告诉你什么是用户画像 介绍了到底什么是用户画像,了解了用户画像的本质是为了让机器去看之后,这里谈一谈如何从文本中构建用户画像。

5046
来自专栏机器之心

百度NLP | 神经网络模型压缩技术

百度NLP专栏 作者:百度NLP 引言 近年来,我们在神经网络模型与 NLP 任务融合方面深耕,在句法分析、语义相似度计算、聊天生成等各类方向上,均取得显著的进...

3395

扫码关注云+社区