前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >42个激活函数的全面总结

42个激活函数的全面总结

作者头像
deephub
发布2022-06-04 11:31:11
4590
发布2022-06-04 11:31:11
举报
文章被收录于专栏:DeepHub IMBADeepHub IMBA

2015 年 11 月,wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在,维基百科页面已经发生了 391 次更改。在本文中,我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接,如果没有或者在无法找到特定研究论文的情况下,提供了相关的相关论文。

例如:通常人们会将 tanh 用于 FNN,将 ReLU 用于 CNN。

如果我们包括 Identity Activation 函数,这个列表将包含 42 个激活函数,这里面肯定有没有见过的。

Binary step

公式

导数

Logistic, sigmoid, or soft step

公式:

导数

还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x))

ElliotSig 或 Softsign

公式:

导数

双曲正切 (tanh)

公式

导数

Arctangent / Arctan / atan

公式

导数

Softplus

公式

导数

Rectified linear unit (ReLU) (ReLU6)

公式

导数

Exponential linear unit (ELU)

公式

导数

Gaussian Error Linear Unit (GELU)

公式

导数

Scaled exponential linear unit (SELU)

公式

导数

Mish

公式

导数

Leaky rectified linear unit (Leaky ReLU)

公式

导数

Parametric rectified linear unit (PReLU)

公式

导数

Parametric Exponential Linear Unit (PELU)

公式

导数

S-shaped rectified linear activation unit (SReLU)

公式

导数

Bipolar rectified linear unit (BReLU)

公式

导数

Randomized leaky rectified linear unit (RReLU)

Sigmoid linear unit (SiLU) or Swish

Gaussian

Growing Cosine Unit (GCU)

Shifted Quadratic Unit (SQU)

Non-Monotonic Cubic Unit (NCU)

Shifted Sinc Unit (SSU)

没有提供导数公式,参考论文:https://arxiv.org/pdf/2111.04020.pdf。

Decaying Sine Unit (DSU)

没有提供导数公式,请参考论文:https://arxiv.org/pdf/2111.04020.pdf

Phish

没有提供导数公式,请参考论文:https://www.techrxiv.org/ndownloader/files/33227273/2

SQ-RBF

Inverse square root unit (ISRU)

Square nonlinearity (SQNL)

Sigmoid shrinkage

“Squashing functions”

Maxout

该函数导数为正负 无限

Bent Identity

Sinusoid

Sinc (taming the waves)

ArSinH

Soft Clipping (goldilocks)

Piecewise Linear Unit (PLU)

Adaptive piecewise linear (APL)

Inverse Cubic

Soft Exponential

LeCun hyperbolic tangent (42?)

来自https://drive.google.com/viewerng/viewer?url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf

激活函数的wikipedia页面:

https://en.wikipedia.org/wiki/Activation_function

最后说明,图太多了,如有遗漏或者错误,请留言

作者:Fletch

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-04-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DeepHub IMBA 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Binary step
  • Logistic, sigmoid, or soft step
  • ElliotSig 或 Softsign
  • 双曲正切 (tanh)
  • Arctangent / Arctan / atan
  • Softplus
  • Rectified linear unit (ReLU) (ReLU6)
  • Exponential linear unit (ELU)
  • Gaussian Error Linear Unit (GELU)
  • Scaled exponential linear unit (SELU)
  • Mish
  • Leaky rectified linear unit (Leaky ReLU)
  • Parametric rectified linear unit (PReLU)
  • Parametric Exponential Linear Unit (PELU)
  • S-shaped rectified linear activation unit (SReLU)
  • Bipolar rectified linear unit (BReLU)
  • Randomized leaky rectified linear unit (RReLU)
  • Sigmoid linear unit (SiLU) or Swish
  • Gaussian
  • Growing Cosine Unit (GCU)
  • Shifted Quadratic Unit (SQU)
  • Non-Monotonic Cubic Unit (NCU)
  • Shifted Sinc Unit (SSU)
  • Decaying Sine Unit (DSU)
  • Phish
  • SQ-RBF
  • Inverse square root unit (ISRU)
  • Square nonlinearity (SQNL)
  • Sigmoid shrinkage
  • “Squashing functions”
  • Maxout
  • Bent Identity
  • Sinusoid
  • Sinc (taming the waves)
  • ArSinH
  • Soft Clipping (goldilocks)
  • Piecewise Linear Unit (PLU)
  • Adaptive piecewise linear (APL)
  • Inverse Cubic
  • Soft Exponential
  • LeCun hyperbolic tangent (42?)
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档