首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

批标准化

批标准化是优化深度神经网络中最激动人心的最新创新之一。实际上它并不是一个优化算法,而是一个自适应的重参数化的方法,试图解决训练非常深的模型的困难。非常深的模型会涉及多个函数或层组合。在其他层不变的假设下,梯度用于如何更新每一个参数。在实践中,我们同时更新所有层。当我们进行更新时,可能会发生一些意想不到的结果这是因为许多组合在一起的函数同时改变时,计算更新的假设是其他函数保持不变。举一个例子,假设我们有一个深度神经网络,每一层只有一个单元,并且在每个隐藏层不使用激活函数: 。此处, 表示用于层 的权重。层 的输出是 。输出 是输入x的线性函数,但是权重wi的非线性函数。假设代价函数 上的梯度为1,所以我们希望稍稍降低 。然后反向传播算法可以计算梯度 。想想我们在更新 时会发生什么。近似 的一阶泰勒级数会预测 的值下降 。如果我们希望 下降 ,那么梯度中的一阶信息表明我们应设置学习率 为 。然而,实际的更新将包括二阶、三阶直到 阶的影响。

02
领券