在这篇综述中，我们研究了梯度下降的不同变体，总结了挑战点，介绍了最常见的优化算法，回顾了并行和分布式环境中的体系结构，并研究了优化梯度下降的其他策略。...之后，在第5节中，我们将简要介绍在并行和分布式环境中优化梯度下降的算法和体系结构。最后，我们将在第6节中考虑有助于优化梯度下降的其他策略。...SGD执行频繁的更新，其方差很大，导致目标函数波动很大，如图1所示。 当批量梯度下降收敛到参数所处盆地的最小值时，SGD s波动一方面使其能够跳到新的、潜在的更好的局部最小值。...然而，已有研究表明，当我们缓慢降低学习速率时，SGD表现出与批量梯度下降相同的收敛行为，几乎可以肯定分别收敛到非凸优化和凸优化的局部最小值或全局最小值。...Dauphin et al.[5]认为，这种困难实际上并非来自局部极小值，而是来自鞍点，即一维向上和另一维向下倾斜的点。
单纯依靠最小化经验风险可能导致过拟合现象，而且在很多的情形下，减小经验风险并不可行，所以在深度学习中，我们很少使用经验风险最小化，而使用另外一不同的方法。...如果局部极小值点相比全局最小值点有很大的代价，那么局部极小值点会带来很大的问题。对于实际使用的神经网络，是否存在很多代价很大的局部极小值点，优化算法是否会碰到这些极小值点都是尚未解决的公开问题。...而有些其他优化算法本质上是迭代的，应用这类优化问题时，能在可接受的时间内收敛到可接受的解，并且收敛值与初始值无关。深度学习的模型通常是迭代的，因此要求使用者制定一些开始迭代的初始点。...在收敛的情形下，初始点可以决定学习收敛的有多快，以及是否收敛到一个代价高或者低的点。另外，差不多代价的点可以导致区别极大的泛化误差，初始点可以影响泛化。...现代机器学习乃至深度学习和神经网络的初始化策略是简单和启发式的，改进初始化是一项困难的任务。神经网络的优化到目前都没有被很好的理解。
现在，如果你将权值初始化在 A 点，那么你将会收敛到局部极小值点，而且，一旦你收敛到这个极小值点，梯度下降将没法使你离开这里。 梯度下降是由梯度驱动的，它在任何一个极小值点都会为 0。...尽管它在 x 方向上是一个最小值点，但是它在另一个方向上是局部最大值点，并且，如果它沿着 x 方向变得更平坦的话，梯度下降会在 x 轴振荡并且不能继续根据 y 轴下降，这就会给我们一种已经收敛到最小值点的错觉...随机性的解救 那么，我们如何在尝试收敛到全局最优值的同时摆脱局部极小值和鞍点呢？答案是使用随机梯度下降。 到目前为止，我们一直使用通过对训练集上的所有可能样本的损失值求和得到的损失函数进行梯度下降。...但是，如果我们使用随机梯度下降，这个点可能不在「一个样本损失函数」轮廓的局部最小值周围，这使得我们远离局部最小值点。...即使我们陷在「一个样本损失函数」的局部最小值点，下一个随机采样点的「一个样本损失函数」的损失情况也可能不同，从而使我们能够继续移动。 当它收敛的时候，它会收敛到几乎所有「一个样本损失函数」的最小值。
批量梯度下降每次学习都使用整个训练集，因此其优点在于每次更新都会朝着正确的方向进行，最后能够保证收敛于极值点(凸函数收敛于全局极值点，非凸函数可能会收敛于局部极值点)，但是其缺点在于每次学习时间过长，并且如果训练集很大以至于需要消耗大量的内存...图1 SGD扰动 不过从另一个方面来看，随机梯度下降所带来的波动有个好处就是，对于类似盆地区域（即很多局部极小值点）那么这个波动的特点可能会使得优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点...，这样便可能对于非凸函数，最终收敛于一个较好的局部极值点，甚至全局极值点。...梯度下降优化算法 下面将讨论一些在深度学习社区中经常使用用来解决上诉问题的一些梯度优化方法，不过并不包括在高维数据中不可行的算法，如牛顿法。...现有的已经表明：SGD能够收敛于最小值点，但是相对于其他的SGD，它可能花费的时间更长，并且依赖于鲁棒的初始值以及学习速率退火调整策略，并且容易陷入局部极小值点，甚至鞍点。
auxPop 获得的有希望的不可行解决方案反过来帮助 mainPop 更好地收敛到帕累托最优前沿。...大多数早期的 CMOEA，如 C-NSGA-II [5]，首先将人口尽快推向可行区域，然后考虑优化可行区域内的目标。这可能使种群容易落入一些局部最优区域，如图 1 所示。...由于提出的牵引策略，auxPop 可以在 PF 附近快速找到有希望的不可行解（具有良好的目标值和低约束违规），从而帮助 mainPop 更好地收敛。...，但是auxPop的选择策略在前后两个阶段不同，在Exploration阶段使用目标函数值，在Exploitation阶段使用牵引策略。...3.3 Exploitation Stage mainPop 和 auxPop 旨在在开发阶段协同收敛到真正的 PF。
全量梯度下降每次学习都使用整个训练集，因此其优点在于每次更新都会朝着正确的方向进行，最后能够保证收敛于极值点(凸函数收敛于全局极值点，非凸函数可能会收敛于局部极值点)，但是其缺点在于每次学习时间过长，并且如果训练集很大以至于需要消耗大量的内存...图1 SGD扰动来源 不过从另一个方面来看，随机梯度下降所带来的波动有个好处就是，对于类似盆地区域（即很多局部极小值点）那么这个波动的特点可能会使得优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点...，这样便可能对于非凸函数，最终收敛于一个较好的局部极值点，甚至全局极值点。...梯度下降优化算法 下面将讨论一些在深度学习社区中经常使用用来解决上诉问题的一些梯度优化方法，不过并不包括在高维数据中不可行的算法，如牛顿法。...现有的已经表明：SGD能够收敛于最小值点，但是相对于其他的SGD，它可能花费的时间更长，并且依赖于鲁棒的初始值以及学习速率退火调整策略，并且容易陷入局部极小值点，甚至鞍点。
我们还将简要介绍算法和架构，以优化并行和分布式设置中的梯度下降。 最后，我们将考虑有助于优化梯度下降的其他策略。...批量梯度下降能够保证更好的收敛到误差平面全局最小值，并且到达一个非凸误差平面的局部最小值。...然而批次梯度下降算法收敛到一个局部最小点后，参数就不会再改变（参数确定，认为达到条件，参数被放置于该点，就是这个意思）。...然后经过验证，当我们根据步数的增加逐步降低学习速率（步长）时，随机梯度下降一定会最终收敛到非凸误差平面的局部最小值和凸优化的全局最小值（在大多数情况下是非凸的），这种效果和批次下降是一样的（最后的效果一样...意思是说，画出目标函数的等值面，那些在某些方向（维度）上的梯度很大，在其他方向（维度）上的梯度很小的地方，就叫做ravine。在这些点上，SGD算法在收敛到局部最优点的过程中容易产生振荡。
批量梯度下降每次学习都使用整个训练集，因此其优点在于每次更新都会朝着正确的方向进行，最后能够保证收敛于极值点(凸函数收敛于全局极值点，非凸函数可能会收敛于局部极值点)，但是其缺点在于每次学习时间过长，并且如果训练集很大以至于需要消耗大量的内存...图1 SGD 不过从另一个方面来看，随机梯度下降所带来的波动有个好处就是，对于类似盆地区域（即很多局部极小值点）那么这个波动的特点可能会使得优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点，这样便可能对于非凸函数...，最终收敛于一个较好的局部极值点，甚至全局极值点。...梯度下降优化算法 下面将讨论一些在深度学习社区中经常使用用来解决上诉问题的一些梯度优化方法，不过并不包括在高维数据中不可行的算法，如牛顿法。...现有的已经表明：SGD能够收敛于最小值点，但是相对于其他的SGD，它可能花费的时间更长，并且依赖于鲁棒的初始值以及学习速率退火调整策略，并且容易陷入局部极小值点，甚至鞍点。
批量梯度下降每次学习都使用整个训练集，因此其优点在于每次更新都会朝着正确的方向进行，最后能够保证收敛于极值点(凸函数收敛于全局极值点，非凸函数可能会收敛于局部极值点)，但是其缺点在于每次学习时间过长，并且如果训练集很大以至于需要消耗大量的内存...）那么这个波动的特点可能会使得优化的方向从当前的局部极小值点跳到另一个更好的局部极小值点，这样便可能对于非凸函数，最终收敛于一个较好的局部极值点，甚至全局极值点。...学习速率η是深度学习中一个重要的优化超参数。实际上，SGD已经被证明需要一个学习率退火方案，以收敛到一个好的最小值。...梯度下降优化算法 下面将讨论一些在深度学习社区中经常使用用来解决上诉问题的一些梯度优化方法，不过并不包括在高维数据中不可行的算法，如牛顿法。...现有的已经表明：SGD能够收敛于最小值点，但是相对于其他的SGD，它可能花费的时间更长，并且依赖于鲁棒的初始值以及学习速率退火调整策略，并且容易陷入局部极小值点，甚至鞍点。
四、Gekko教授一直梦想用直排轮滑的方式横穿北达科他州。他计划沿U.S.2号高速公路横穿，这条高速公路从明尼苏达州东部边境的大福克斯市到靠近蒙大拿州西部边境的威利斯顿市。...在实际情况中，这样的行程规划会更为复杂，可能需要使用更为高级的算法和数据结构。此外，实际编写代码时，您可能还需要使用专业的地图数据服务来获取准确的路程距离和地点信息。...，这些逻辑取决于北达科他州官方地图上显示的可补充水点的具体位置和每个地点的补水量。...refillPoints 来表示补水点的距离和水量。...在实际使用时，可能需要更复杂的算法来计算教授能够滑行的距离。
学习率调整 在训练模型过程中，我们可以使用固定的学习率，但一些研究工作显示在模型训练过程中使用动态的学习率有助于加速收敛，在更少的epoch里得到更好的模型精度。.../pdf/1712.07628.pdf 前期用Adam优化器，迅速收敛，后期切换到SGD，慢慢寻找最优解。...该方法属于单模型集成，不需要耗费额外的训练代价，而且适合与防止局部最优的方法结合使用。 ?...；每个循环只有2到4个epoch。...SGD一般收敛于最优点的宽阔平坦区域边界附近的点；此外，SWA能够找到一个位于该地区中心的点。
除非把具有学习率硬编码的代码直接从 GitHub 里复制到所选优化器中，否则我可能只会把 3e-4 放到 Adam 优化器中，然后让模型训练。如果损失减少，今天就可以收工大吉。...Cyclical LR ：谁说 LR 需要下降 以往的常识是逐步降低学习率或使用指数函数，从而使模型收敛更稳定。...一周期策略和超收敛 在 2018 年的近期工作中，LR Range test 和 CLR 的作者将自己的想法推向了极致，其中循环学习率策略仅包含 1 个周期，因此称作「一周期」策略。 ?...我们可以将这种策略看作是一种探索-开发的权衡，其中周期的前半部分更有可能从某一局部最优跳到另一局部最优，从而有望在最平坦、最广泛的局部最优区域达到稳定。...以较大的学习率开始循环的后半部分有助于模型更快地收敛到最优。 一周期策略本身就是一种正则化技术，因此需要对其它正则化方法进行调优才能与此策略配合使用。 ?
然而，这些算法经常作为黑盒优化程序使用，所以难以感受到各种算法的长处和不足。 本次分享旨在为您提供对不同梯度算法的直观感受，以期会帮助您更好地使用不同的梯度下降算法。...最后，会讨论其他有利于梯度下降优化算法的策略。 ---- 梯度下降是一种以通过在目标函数梯度 ? 的反向上更新模型参数，来最小化模型参数的目标函数 ? 的方法。学习速率 ?...批量梯度下降收敛到盆面的极小值，SGD的波动一方面能够使（损失函数）跳到一个全新并且可鞥呢更优的局部极小值，另一方面这种波动由于一直overshooting终究会很难收敛到确切的极小值。...然而，（实验）表明当我们慢慢地减小学习速率时SGD表现出和批量梯度下降同样的收敛行为，几乎确定地在non-convex and convex optimization中各自收敛到一个局部或者全局极小值在...挑战 然而，普通的mini-batch gradient descent不能保证较好的收敛性，这一点引出了下述挑战： 选择一个合适的学习速率是很难的。
可知道除了梯度本身，这两个因子直接决定了模型的权重更新，从优化本身来看它们是影响模型性能收敛最重要的参数。...虽然学习率的变化是最离散的，但是并不影响模型收敛到比较好的结果。 其次是exp，poly。...从上面的结果可以看出，对于采用非自适应学习率变换的方法，学习率的绝对值对模型的性能有较大影响，研究者常使用step变化策略。...研究表明大的batchsize收敛到sharp minimum，而小的batchsize收敛到flat minimum，**后者具有更好的泛化能力。...但是如果要保证权重的方差不变，则学习率应该增加为原来的sqrt(N)倍，目前这两种策略都被研究过，使用前者的明显居多。 从两种常见的调整策略来看，学习率和batchsize都是同时增加的。
这篇文章致力于给读者提供这些算法工作原理的一个直观理解。在这篇概述中，我们将研究梯度下降的不同变体，总结挑战，介绍最常见的优化算法，介绍并行和分布式设置的架构，并且也研究了其他梯度下降优化策略。...BGD 对于凸误差曲面（convex error surface）保证收敛到全局最优点，而对于非凸曲面（non-convex surface）则是局部最优点。...图 1：SGD 震荡，来自 Wikipedia BGD 能够收敛到（局部）最优点，然而 SGD 的震荡特点导致其可以跳到新的潜在的可能更好的局部最优点。...已经有研究显示当我们慢慢的降低学习率时，SGD 拥有和 BGD 一样的收敛性能，对于非凸和凸曲面几乎同样能够达到局部或者全局最优点。 代码片段如下，只是加了个循环和在每一个训练样本上计算梯度。...我们不会讨论实际上在高维数据集上不可行的算法，例如二阶方法中的 牛顿法。
领取专属 10元无门槛券
手把手带您无忧上云
