专栏首页SimpleAI【DL碎片1】神经网络参数初始化的学问

【DL碎片1】神经网络参数初始化的学问

从【DL笔记1】到【DL笔记N】,以及【DL碎片】系列,是我学习深度学习一路上的点点滴滴的记录,是从Coursera网课、各大博客、论文的学习以及自己的实践中总结而来。从基本的概念、原理、公式,到用生动形象的例子去理解,到动手做实验去感知,到著名案例的学习,到用所学来实现自己的小而有趣的想法......我相信,一路看下来,我们可以感受到深度学习的无穷的乐趣,并有兴趣和激情继续钻研学习。 正所谓 Learning by teaching,写下一篇篇笔记的同时,我也收获了更多深刻的体会,希望大家可以和我一同进步,共同享受AI无穷的乐趣。


我们已经知道,神经网络的参数主要是权重(weights):W, 和偏置项(bias):b。 训练神经网络的时候需先给定一个初试值,才能够训练,然后一点点地更新,但是不同的初始化方法,训练的效果可能会截然不同。本文主要记录一下不同的初始化的方法,以及相应的效果。

笔者正在学习的Andrew Ng的DeepLearning.ai提供了相应的模型框架和数据,我们这里要自己设置的就是不同的初值。

数据可视化之后是这样的:

我们需要做的就是把上面的红点和蓝点分类。

一、直接把参数都初始化为0

这是大家可以想到的最简单的方法,也确实很多其他的地方都采用0初值,那神经网络中这样做是否可行呢? 在python中,可以用np.zeros((维度)) 来给一个向量/矩阵赋值0, 于是,对于L层神经网络,可这样进行0-initialization:

for l in range(1,L): #总共L层,l为当前层
    W = np.zeros((num_of_dim[l],num_of_dim[l-1])) # W的维度是(当前层单元数,上一层单元数)
    b = np.zeros((num_of_dim[l],1)) # b的维度是(当前层单元数,1)

通过这样的初值,我们run一下模型,得到的cost-iteration曲线以及在训练集、测试集上面的准确率如下:

可以发现,压根就没训练!得到的模型跟瞎猜没有区别。

为什么呢?

我们看看神经网络的结构图:

这是一个3层神经网络,可以看出,神经网络结构是十分对称的,不管有几层。 当我们把所有的参数都设成0的话,那么上面的每一条边上的权重就都是0,那么神经网络就还是对称的,对于同一层的每个神经元,它们就一模一样了。 这样的后果是什么呢?我们知道,不管是哪个神经元,它的前向传播和反向传播的算法都是一样的,如果初始值也一样的话,不管训练多久,它们最终都一样,都无法打破对称(fail to break the symmetry),那每一层就相当于只有一个神经元,最终L层神经网络就相当于一个线性的网络,如Logistic regression,线性分类器对我们上面的非线性数据集是“无力”的,所以最终训练的结果就瞎猜一样。

因此,我们决不能把所有参数初始化为0,同样也不能初始化为任何相同的值,因为我们必须“打破对称性”!

二、随机初始化

好,不用0,咱们随机给一批值总可以吧。确实可以!咱们看看: 【下面的演示会试试多种参数或超参数,为了方便大家看,我分4步:①②③④】

①随机初始化

python中,随机初始化可以用 np.random.randn(维度) 来随机赋值: 于是前面的代码改成:

for l in range(1,L): #总共L层,l为当前层
    W = np.random.randn(num_of_dim[l],num_of_dim[l-1]) # W的维度是(当前层单元数,上一层单元数)
    b = np.zeros((num_of_dim[l],1)) # b的维度是(当前层单元数,1)

这里有三点需要说明一下:

  1. b不用随机初始化,因为w随机之后,已经打破对称,b就一个常数,无所谓了
  2. random.rand()是在0~1之间随机,random.randn()是标准正态分布中随机,有正有负
  3. np.zeros(())这里是两个括号,random.randn()是一个括号,奇怪的很,就记着吧

那看看run出来的效果如何呢:

效果明显比0初始化要好多了,cost最后降的也比较低,准确率也不错,92%。给分类效果可视化:

我们接着试试,如果把随机初始化的值放大一点会出现什么:

②放大版随机初始化

for l in range(1,L): #总共L层,l为当前层
    W = np.random.randn(num_of_dim[l],num_of_dim[l-1])*10 # W的维度是(当前层单元数,上一层单元数)
    b = np.zeros((num_of_dim[l],1)) # b的维度是(当前层单元数,1)

上面的代码中,我们给W最后多乘以10,run的效果: 【注意啊,乘以10不一定就是变大,因为我们的w的随机取值可正可负,所以乘以10之后,正数更大,负数更小】

咦~~ 真o心 ~~

准确率明显降低了许多,到86%。

为什么把随机初始化的值放大就不好了呢?

我们看看神经网络中常用的sigmoid函数:

这家伙,中间的斜率大,两边的斜率小还趋于零。所以当我们把随机的值乘以10了之后,我们的初值会往两边跑,那么我们的梯度下降就会显著变慢,可能迭代半天,才下降一点点。

这就是问题的症结。

我们上面的实验,可以从图的横坐标看出,都是设定的一样的迭代次数(iteration number):15000次,因此,在相同的迭代次数下,放大版的随机初始化的模型的学习就像一个“笨学生”,没别人学的多,因此效果就更差

为了验证我说的,我们可以试试吧迭代次数加大,看看我说的是不是对的:

③增大迭代次数

测试了好久。。。 然后打脸了。。。

不过还是值得玩味~~

我把迭代次数显示设为60000,也就是增大了4,5倍,结果cost function后来下降十分十分缓慢,最后效果还不如之前的。然后我再把迭代次数增加到了160000,相当于比一开始增大了10倍多,结果….

可以看到,cost基本从20000次迭代之后就稳定了,怎么都降不下去了,实际上是在降低,但是十分十分十分X10地缓慢。难道这就是传说中的梯度消失??? 所以结果并没有我想象地把迭代次数加大,就可以解决这个问题,实际上,可以看到,在训练集上准确度确实上升了,所以说明确实模型有所改进,只不过改进的太缓慢,相当于没有改进。

仔细分析了一下,由于W太大或者太小,导致激活函数对w的倒数趋于零,那么计算cost对w的导数也会趋于零,所以下降如此缓慢也是可以理解。

好,放大的效果如此差,我们缩小试试?

④缩小版随机初始化

还是回到迭代14000次,这次把w除以10看看:

嘿~缩小结果甚至更差!连圈圈都没有了。

上面这个图,说明学习到的模型太简单了,因为我们把w都除以10,实际上就接近0了,深度学习中我们认为参数越大,模型越复杂;参数越小,模型越简单。所以除以10之后,参数太小了,模型就too simple了,效果当然不好。

最后再试一次吧,再多的话大家都烦了我也烦了。

上面乘以10和除以10,效果都很差,那我们试一个中间的,比如:除以3(真的是随便试试)

好了好了,终于提高了!这个准确率是目前的最高水平了!

可见,只要找到一个恰当的值来缩小,是可以提高准确率的。但是,这里除以三是我拍脑门出来的,不能每次都这么一个个地试吧,有没有一个稳健的,通用的方法呢?

有!接着看:

三、何氏初试法(He Initialization)(不知道是不是何,我音译的)

上面试了各种方法,放大缩小都不好,无法把握那个度。还好,总有大神为我们铺路,论文He et al., 2015.中提出了一种方法,我们称之为He Initialization,它就是在我们随机初始化了之后,乘以

这样就避免了参数的初始值过大或者过小,因此可以取得比较好的效果,代码也很简单,用np.sqrt()来求平方根:

for l in range(1,L): #总共L层,l为当前层
    W = np.random.randn(num_of_dim[l],num_of_dim[l-1])**np.sqrt(2/num_of_dim[l-1]) # W的维度是(当前层单元数,上一层单元数)
    b = np.zeros((num_of_dim[l],1)) # b的维度是(当前层单元数,1)

取得的效果如下:

啧啧啧,看这效果,看这优美的损失曲线,看着卓越的准确率… …

以后就用你了,He Initialization !

其实吧,He Initialization是推荐针对使用ReLU激活函数的神经网络使用的,不过对其他的激活函数,效果也不错。

还有其他的类似的一些好的初始化方法,例如:

推荐给sigmoid的Xavier Initialization:随机化之后乘以

总结一下:

  • 神经网络不可用0来初始化参数!
  • 随机赋值是为了打破对称性,使得不同的神经元可以有不同的功能
  • 推荐在初始化的时候使用He Initialization

本文分享自微信公众号 - SimpleAI(SimpleAI_1),作者:Beyond

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【Hello NLP】CS224n笔记[7]:机器翻译和seq2seq

    相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征...

    beyondGuo
  • 【DL笔记1】Logistic Regression:最基础的神经网络

    从【DL笔记1】到【DL笔记N】,是我学习深度学习一路上的点点滴滴的记录,是从Coursera网课、各大博客、论文的学习以及自己的实践中总结而来。从基本的概念、...

    beyondGuo
  • 【Hello NLP】CS224n笔记[2]:Word2Vec算法推导&实现

    相比于计算机视觉,NLP可能看起来没有那么有趣,这里没有酷炫的图像识别、AI作画、自动驾驶,我们要面对的,几乎都是枯燥的文本、语言、文字。但是,对于人工智能的征...

    beyondGuo
  • numpy.squeeze()

    这是因为matplotlib.pyplot接收的color sequence 参数c应该是单个值,直接传Y或者Y.train传的是shape(1, size)的...

    Steve Wang
  • 如何用Amazon SageMaker 做分布式 TensorFlow 训练?(千元亚马逊羊毛可薅)

    TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开放源机器学习 (ML) 库,此类 DNN 需要分布式训练,并且在多个主机上使用多个 GP...

    机器之心
  • CenterNet骨干网络之hourglass

    CenterNet中主要提供了三个骨干网络ResNet-18(ResNet-101), DLA-34, Hourglass-104,本文从结构和代码对hourg...

    BBuf
  • Hibernate 5 升级后 getProperties 错误

    Google 搜索也找不到什么好的回答。经过我们对源代码的分析和排查,我们发现这是一个 JPA 版本不兼容的问题。

    HoneyMoose
  • Hibernate 5 升级后 getProperties 错误

    Google 搜索也找不到什么好的回答。经过我们对源代码的分析和排查,我们发现这是一个 JPA 版本不兼容的问题。

    HoneyMoose
  • apache配置多端口多站点

    一般我们在测试的时候,或者在开发的时候,都需要在自己电脑,也就是本地配置好php环境一遍开发或者测试,但时候由于我们在开发或者测试的过程中,有可能不仅仅是一个网...

    botkenni
  • Microsoft开源跨平台的序列化库——Bond

    上个月Microsoft开源了Bond,一个跨平台的模式化数据处理框架。Bond支持跨语言的序列化/反序列化,支持强大的泛型机制能够对数据进行有效地处理。该框架...

    张善友

扫码关注云+社区

领取腾讯云代金券