梯度下降法快速教程 | 第二章:冲量(momentum)的原理与Python实现

01 前言

梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解目标函数的极值。

其基本原理非常简单:沿着目标函数梯度下降的方向搜索极小值(也可以沿着梯度上升的方向搜索极大值)。

但是如何调整搜索的步长(也叫学习率,Learning Rate)、如何加快收敛速度以及如何防止搜索时发生震荡却是一门值得深究的学问。

在上篇文章《梯度下降法快速教程 | 第一章:Python简易实现以及对学习率的探讨》中我们简单分析了学习率大小对搜索过程的影响,发现:

  • 学习率较小时,收敛到极值的速度较慢。
  • 学习率较大时,容易在搜索过程中发生震荡。

因此本篇文章中将简单讲解“冲量”的原理以及如何用“冲量”来解决上述两个问题。

全部源代码可在本人的GitHub:monitor1379中下载。

02 冲量:momentum

“冲量”这个概念源自于物理中的力学,表示力对时间的积累效应。

在普通的梯度下降法x += v中,每次x的更新量v为v = - dx * lr,其中dx为目标函数func(x)对x的一阶导数。

当使用冲量时,则把每次x的更新量v考虑为本次的梯度下降量- dx * lr与上次x的更新量v乘上一个介于[0, 1]的因子momentum的和,即v = - dx * lr + v * momemtum。

从公式上可看出:

  • 当本次梯度下降- dx * lr的方向与上次更新量v的方向相同时,上次的更新量能够对本次的搜索起到一个正向加速的作用。
  • 当本次梯度下降- dx * lr的方向与上次更新量v的方向相反时,上次的更新量能够对本次的搜索起到一个减速的作用。

使用冲量的梯度下降法的Python代码如下:

import numpy as npimport matplotlib.pyplot as plt# 目标函数:y=x^2def func(x): return np.square(x)# 目标函数一阶导数:dy/dx=2*xdef dfunc(x): return 2 * xdef GD_momentum(x_start, df, epochs, lr, momentum): """ 带有冲量的梯度下降法。 :param x_start: x的起始点 :param df: 目标函数的一阶导函数 :param epochs: 迭代周期 :param lr: 学习率 :param momentum: 冲量 :return: x在每次迭代后的位置(包括起始点),长度为epochs+1 """ xs = np.zeros(epochs+1) x = x_start xs[0] = x v = 0 for i in range(epochs): dx = df(x) # v表示x要改变的幅度 v = - dx * lr + momentum * v x += v xs[i+1] = x return xs

为了查看momentum大小对不同学习率的影响,此处设置学习率为lr = [0.01, 0.1, 0.6, 0.9],冲量依次为momentum = [0.0, 0.1, 0.5, 0.9],起始位置为x_start = -5,迭代周期为6。测试以及绘图代码如下:

def demo2_GD_momentum():     
line_x = np.linspace(-5, 5, 100)     
line_y = func(line_x)     
plt.figure('Gradient Desent: Learning Rate, Momentum')      
x_start = -5     
epochs = 6      
lr = [0.01, 0.1, 0.6, 0.9]    
momentum = [0.0, 0.1, 0.5, 0.9]      
color = ['k', 'r', 'g', 'y']      
row = len(lr)     
col = len(momentum)     
size = np.ones(epochs+1) * 10     
size[-1] = 70     
for i in range(row):        
for j in range(col):             
x = GD_momentum(x_start, dfunc, epochs, lr=lr[i], momentum=momentum[j])             plt.subplot(row, col, i * col + j + 1)             
plt.plot(line_x, line_y, c='b')            
 plt.plot(x, func(x), c=color[i], label='lr={}, mo={}'.format(lr[i], momentum[j]))            
 plt.scatter(x, func(x), c=color[i], s=size)            
 plt.legend(loc=0)
 plt.show()

运行结果如下图所示,每一行的图的学习率lr一样,每一列的momentum一样,最左列为不使用momentum时的收敛情况:

简单分析一下运行结果:

  • 从第一行可看出:在学习率较小的时候,适当的momentum能够起到一个加速收敛速度的作用。
  • 从第四行可看出:在学习率较大的时候,适当的momentum能够起到一个减小收敛时震荡幅度的作用。

从上述两点来看,momentum确实能够解决在篇头提到的两个问题。

然而在第二行与第三行的最后一列图片中也发现了一个问题,当momentum较大时,原本能够正确收敛的时候却因为刹不住车跑过头了。那么怎么继续解决这个新出现的问题呢?下一篇文章《梯度下降法快速教程 | 第三章:学习率衰减因子(decay)的原理与Python实现》将介绍如何使用学习率衰减因子decay来让学习率随着迭代周期不断变小,让梯度下降法收敛时的“震荡”与“跑偏”进一步减少的方法。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-11-30

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

机器学习实战之朴素贝叶斯

机器学习实战之朴素贝叶斯 1.1、简介 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。已知某条件概率,如何得到两个事件交换后...

1747
来自专栏机器之心

谷歌开放GNMT教程:如何使用TensorFlow构建自己的神经机器翻译系统

选自谷歌 机器之心编译 参与:机器之心编辑部 近日,谷歌官方在 Github 开放了一份神经机器翻译教程,该教程从基本概念实现开始,首先搭建了一个简单的NMT模...

3296
来自专栏AI科技评论

开发 | 看完立刻理解GAN!初学者也没关系

AI 科技评论按:本文原作者天雨粟,原文载于作者的知乎专栏——机器不学习,经授权发布。 前言 GAN 从 2014 年诞生以来发展的是相当火热,比较著名的 GA...

34413
来自专栏大数据挖掘DT机器学习

TensorFlow和深度学习入门教程

前言 上月导师在组会上交我们用tensorflow写深度学习和卷积神经网络,并把其PPT的参考学习资料给了我们, 这是codelabs上的教程:《Tensor...

3076
来自专栏大数据挖掘DT机器学习

在深度学习TensorFlow 框架上使用 LSTM 进行情感分析

在这篇教程中,我们将介绍如何将深度学习技术应用到情感分析中。该任务可以被认为是从一个句子,一段话,或者是从一个文档中,将作者的情感分为积极的,消极的或者中性的。...

5407
来自专栏机器学习算法与Python学习

干货|多重预训练视觉模型的迁移学习

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 源 | 全球人工智能 本文介绍的是基...

4197
来自专栏小小挖掘机

实战深度强化学习DQN-理论和实践

1、Q-learning回顾 Q-learning 的 算法过程如下图所示: ? 在Q-learning中,我们维护一张Q值表,表的维数为:状态数S * 动作数...

4355
来自专栏量子位

GAN入门教程 | 从0开始,手把手教你学会最火的神经网络

安妮 编译自 O’Reilly 量子位出品 | 公众号 QbitAI 生成式对抗网络是20年来机器学习领域最酷的想法。 ——Yann LeCun 自从两年前...

4143
来自专栏磐创AI技术团队的专栏

使用Keras进行深度学习:(六)GRU讲解及实践

1273
来自专栏IT派

玩转TensorFlow深度学习

导语:据介绍,Google Developers Codelabs 提供了有引导的、教程式的和上手式的编程体验。大多数 Codelabs 项目都能帮助你了解开发...

3328

扫描关注云+社区