专栏首页SimpleAI【DL碎片3】神经网络中的激活(Activation)函数及其对比

【DL碎片3】神经网络中的激活(Activation)函数及其对比

从【DL笔记1】到【DL笔记N】以及【DL碎片】系列,是我学习深度学习一路上的点点滴滴的记录,是从Coursera网课、各大博客、论文的学习以及自己的实践中总结而来。从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现自己的小而有趣的想法......我相信,一路看下来,我们可以感受到深度学习的无穷的乐趣,并有兴趣和激情继续钻研学习。 正所谓 Learning by teaching,写下一篇篇笔记的同时,我也收获了更多深刻的体会,希望大家可以和我一同进步,共同享受AI无穷的乐趣。


神经网络的每一层基本都是在一个线性运算后面来一个非线性激活函数(Activation function),再把值传给下一层的。激活函数有多种,这篇文章主要就是介绍各种激活函数和它们的对比。

为啥要有非线性的激活函数(non-linear activation function)

什么是线性函数?就是形如y=ax+b这样的函数。我们知道,n和线性函数嵌套起来,还是线性函数: y=a1(a2x+b2)+b1 =a1a2x+a1b2+b1 =cx+d 而我们每一层的输入,都是按照Z=WX+b这样的线性公式在计算的,再经过一个线性的激活,还是线性的。然后经过下一层,还是线性的,也就是中间不管多少层,最后的结果,依然是最初的输入X的线性表示,那不就相当于只有一层了吗? 这样,n层的神经网络,就相当于一个简单的Logistic regression了

因此,我们必须采用一个非线性的激活函数,让每一层都有意义,让每一层都有其特定的功能!

下面逐一介绍各种非线性激活函数:

一、sigmoid函数(σ)

这玩意儿大家最熟悉了,放个图:

图画的还可以吧,纯PPT画图…( ・´ω`・ )

这个也没什么好讲的了,公式图上也给出了。 它的求导可以稍微记忆一下:

a(z)’ = a(z)×[1-a(z)]

毕竟如果我们需要自己推导梯度下降的过程的话,这个求导公式还是很有用的。

sigmoid的特点如下:

  1. 很好的拟合了0,1输出,常作为二分类问题(binary classification)的激活函数。
  2. 它的导数为两边小中间大。

二、tanh函数

这个又叫“双曲正切”函数,也是直接上图:

有人会说:诶?跟sigmoid长的好像哟~ 对了!它就是sigmoid向下平移了一个单位得到的。形状是一模一样的。 它的导数也很有特点:

a(z)’ = 1-[a(z)]2

相比于sigmoid,它的关于原点对称的,根据吴恩达的说法,这样的性质使得模型在训练时性能往往比sigmoid更好因此在中间层一般都不用sigmoid作为激活函数,而用tanh来代替。但是在output层,对于二分类问题,我们都要使用sigmoid,因为要拟合0,1的输出。

——sigmoid和tanh共同的问题:

当z比较大或者比较小的时候(也就是在曲线的两头),函数的导数会非常小,会导致参数的梯度也非常小,这样我们在用梯度下降法进行训练的时候就会非常慢,尤其是当数据量很大的时候。

因此,我们有了下面的函数:

三、ReLU函数

ReLU的全称是Rectified linear unit(线性整流单元)。听起来好像很复杂的样子,其实就是一个贼简单的分段函数,小学生都会画的:

其实,它的公式可以用一行来表示:a=max(z,0),在python中就是一行代码。

有时是真是忍不住说它是线性函数,毕竟每一段都是线性的,但是人家就是实实在在的非线性函数,它不会使多层神经网络退化成单层。 但是因为它每一段都是线性的,而且导数要么是0,要么是1,计算简单,大小合适,因此梯度下降算起来很快,于是迅速被广泛地使用了起来,完美地替代了sigmoid、tanh这些激活函数。(只是多数情况,有一些特殊的网络还是会使用tanh和sigmoid,比如RNNs)

ReLU看起来有点简单粗暴了,有人觉得导数为0的那一段看的不顺眼,于是发明了Leaky ReLU,顾名思义,就是把那一段也掰下来一点:

据说效果可以比ReLU更好一些。

ReLU还有很多其他的变体,但是最最常使用的效果最稳定的还是ReLU。 因此,之后在设计神经网络的时候,选择激活函数我们就可以放心大胆地选择ReLU,它不仅速度快,而且效果好。

其实我最开始也有疑问,ReLU按道理比sigmoid简单多了,为什么反而效果更好?一般情况下,不是越简单的效果越不好吗? 其实深度学习中,模型不是最重要的,尤其是在业界,大家广泛使用的也许并不是最先进最复杂的模型,而是一个经典的简单的模型。比模型更重要的是数据。有足够多的训练样本,迭代足够多的次数,简单的模型也可以达到极好的效果。ReLU的优势就在于其简单迅速,因此在短时间内可以进行大量的迭代,因此在业界得到广泛的使用。

四、Softmax

Softmax可以看做是对sigmoid的一种推广。我们在做二分类问题的时候,一般都使用sigmoid作为输出层激活函数,因为它的范围在0~1之间。但是如果我们需要进行多分类呢? 于是我们有了Softmax函数。

Z的计算跟所有其他激活函数一样,都是线性运算:Z=WA[l-1]+b 然后A怎么计算呢: a = ez/sum(ez) a就相当于图上的[p1,p2,p3,p4]组成的向量。 其中各个分量之和为1,这从公式也可以很容易看出来。这样,每一个分量就代表该类别的概率。

对于多分类问题,我们采用的损失函数也稍有不同: L(y,y^) = -Σyi·logy^i 也称为交叉熵(crossentropy)。


本文分享自微信公众号 - SimpleAI(SimpleAI_1),作者:Beyond

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CS224n笔记[6]:更好的我们,更好的RNNs

    相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征...

    beyondGuo
  • PaperReading-使用Dropout解决推荐系统冷启动问题

    推荐系统的主流算法分为两类:基于记忆的(Memory-based,具体包括User-based和Item-based),基于模型的(Model-based)和基...

    beyondGuo
  • 【Hello NLP】CS224n笔记[4]:自然语言中的依存分析(Dependency Parsing)

    SimpleAI 【HelloNLP】系列笔记,主要参考各知名网课(Stanford CS224n、DeepLearning.ai、李宏毅机器学习等等),并配合...

    beyondGuo
  • [MachineLearning] 激活函数Activation Function

    神经网络中激活函数的主要作用是提供网络的非线性建模能力,如不特别说明,激活函数一般而言是非线性函数。假设一个示例神经网络中仅包含线性卷积和全连接运算,那么该网络...

    wOw
  • 图解简单C程序的运行时结构

    程序在内存中的存储分为三个区域,分别是动态数据区、静态数据区和代码区。函数存储在代码区,全局变量以及静态变量存储在静态数据区,而在程序执行的时候才会在动态数据区...

    平也
  • AlexNet- ImageNet Classification with Deep Convolutional Neural Networks

    ImageNet Classification with Deep Convolutional Neural Networks

    用户1148525
  • 靶场搭建—bWAPP

    bWAPP是一个检测错误的Web应用程序,旨在帮助安全爱好者,开发人员和学生发现和防止Web漏洞。这个安全学习平台可以帮助您为成功的渗透测试和道德黑客项目做好准...

    字节脉搏实验室
  • c++ 继承类强制转换时的虚函数表工作原理

    本文通过简单例子说明子类之间发生强制转换时虚函数如何调用,旨在对c++继承中的虚函数表的作用机制有更深入的理解。

    xiaoxi666
  • 深入理解 Java 中的 Lambda

    Tanyboye
  • 【科技】太牛了!这个机器人还原魔方只用了0.38秒!

    AiTechYun 编辑:Yining 机器人再次展示了对于人类的优势。由软件开发人员贾里德·迪·卡洛和麻省理工学院生物统计学实验室的学生本·卡茨创建的这个新机...

    AiTechYun

扫码关注云+社区

领取腾讯云代金券