2015 年 11 月,wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在,维基百科页面已经发生了 391 次更改。在本文中,我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接,如果没有或者在无法找到特定研究论文的情况下,提供了相关的相关论文。
例如:通常人们会将 tanh 用于 FNN,将 ReLU 用于 CNN。
如果我们包括 Identity Activation 函数,这个列表将包含 42 个激活函数,这里面肯定有没有见过的。
公式
导数
公式:
导数
还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x))
公式:
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
公式
导数
没有提供导数公式,参考论文:https://arxiv.org/pdf/2111.04020.pdf。
没有提供导数公式,请参考论文:https://arxiv.org/pdf/2111.04020.pdf
没有提供导数公式,请参考论文:https://www.techrxiv.org/ndownloader/files/33227273/2
该函数导数为正负 无限
来自https://drive.google.com/viewerng/viewer?url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf
激活函数的wikipedia页面:
https://en.wikipedia.org/wiki/Activation_function
最后说明,图太多了,如有遗漏或者错误,请留言
作者:Fletch
本文分享自 DeepHub IMBA 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!