专栏首页郭耀华‘s Blog批标准化(Batch Norm)

批标准化(Batch Norm)

BN作用:

  1. 加速收敛
  2. 控制过拟合,可以少用或不用Dropout和正则
  3. 降低网络对初始化权重不敏感
  4. 允许使用较大的学习率

一、如何加速收敛?

  1. 通过归一化输入值/隐藏单元值,以获得类似的范围值,可加速学习。
  2. 限制了在前层的参数更新会影响数值分布的程度,使层的输出更加稳定,神经网络的之后的层就会有更坚实的基础(减弱了后层的参数因前层参数发生变化而受到的影响) 减弱了前层参数的作用与后层参数的作用之间的联系,使得网络每层都可以自己学习,稍稍独立于其他层,有助于加速整个网络的学习。

二、为什么说BN也会起到一定的正则化作用?

对于Dropout来讲,给每个隐藏单元一定概率置零的可能,这样就相当于给网络引入了噪声。迫使Dropout后部单元不过分依赖于前面任何一个隐藏单元。

而BN,因为是在Mini-batch上计算mean、variance,而不是整个数据集上。均值和方差有一些小噪音,在进行缩放过程,γ、β也会引入噪声,这样和dropout类似,它往每个隐藏层的激活值上增加了噪音,所以起到了一定的正则化作用。

当mini-batch变大时,由于均值方差更加接近真实值,所以噪声会减小,就会减少正则化的效果。

三、使用BN为何可以不使用参数b?

\[ Z=WX+b \] 无论b为何值,去均值之后结果都是一样的,所以说,使用Batch Norm时可以不使用偏置b。 这个偏置的效果在标准化中缩放过程中能体现。 \[ \tilde{Z} = \gamma Z+\beta \]

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • linux下安装git提示”无法打开锁文件 /var/lib/dpkg/lock - open (13: 权限不够)“

    如图所示,输入命令:apt-get install git后提示权限不够 解决方法,在命令前加 sudo即可 sudo apt-get install git ...

    郭耀华
  • GNS3安装与配置

    好久没碰网络相关的东西,计划先把ie的证拿下来。毕业四年了,感觉没做好一件事情,不想什么都是只做个开始就放弃。因为思科的packet tracer很多实验都...

    郭耀华
  • python交换机自动化巡检

    脚本功能功能是全程模拟了人的手工巡检,并收集数据,处理后发送邮件。主要分为远程到交换机,查看转换机状态如:show process cpu | ...

    郭耀华
  • IHostingEnvironment VS IHostEnvironment - .NET Core 3.0中的废弃类型

    在本篇博客中,我将描述与之前版本相比,ASP.NET Core 3.0 中已经被标记为废弃的类型。我将解释一下为什么这些类型被废弃了,它们的替换类型是什么,以及...

    心莱科技雪雁
  • 加固失败

    云加固 出错,加固报错,一直都是这样,前面几次加固都是正常的,使用多几次之后就一直超时,最后看到这个错误

    用户3075946
  • 人脸识别一体机和测温系统结合在应用领域的各个场景应用

    互联网和智能技术的快速发展,人脸识别在应用领域运用到的场景越来越多,有更多新的应用。因为新冠疫情的原因,人脸识别一体和测温系统结合应用广泛,人脸识别测温一体机的...

    畅视智能
  • BAT面试14: 谈谈 docker 在深度学习任务中的应用

    Docker是一种容器技术,它就像一个沙盒把应用程序隔离开来,不管有没有遇到过你至少听到某些应用程序不能兼容,最常见的就是升级某个系统,老版本跟新版本不能兼容,...

    double
  • Docker镜像的删除

    itliusir
  • 『中级篇』构建自己的Docker镜像(16)

    IT故事会
  • mac和linux下使用Docker,部署SpringBoot项目到docker

    主要是看一下如何在linux及mac上安装docker,创建docker镜像,部署SpringBoot项目到docker,并借助于DaoCloud进行docke...

    天涯泪小武

扫码关注云+社区

领取腾讯云代金券