梯度下降法快速教程 | 第三章:学习率衰减因子(decay)的原理与Python实现

前言

梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解目标函数的极值。

其基本原理非常简单:沿着目标函数梯度下降的方向搜索极小值(也可以沿着梯度上升的方向搜索极大值)。

但是如何调整搜索的步长(也叫学习率,Learning Rate)、如何加快收敛速度以及如何防止搜索时发生震荡却是一门值得深究的学问。

上两篇文章《梯度下降法快速教程 | 第一章:Python简易实现以及对学习率的探讨》与《梯度下降法快速教程 | 第二章:冲量(momentum)的原理与Python实现》分别介绍了学习率大小对搜索过程的影响以及“冲量”的原理以及如何用“冲量”来解决收敛速度慢与收敛时发生震荡的问题。接下来本篇文章将介绍梯度下降法中的第三个超参数:decay。

PS:本系列文章全部源代码可在本人的GitHub:monitor1379中下载。

学习率衰减因子:decay

首先先回顾一下不同学习率下梯度下降法的收敛过程(示例代码在GitHub上可下载):

demo1_GD_lr运行结果

从上图可看出,学习率较大时,容易在搜索过程中发生震荡,而发生震荡的根本原因无非就是搜索的步长迈的太大了。

回顾一下问题本身,在使用梯度下降法求解目标函数func(x) = x * x的极小值时,更新公式为x += v,其中每次x的更新量v为v = - dx * lr,dx为目标函数func(x)对x的一阶导数。可以想到,如果能够让lr随着迭代周期不断衰减变小,那么搜索时迈的步长就能不断减少以减缓震荡。学习率衰减因子由此诞生:

lr_i = lr_start * 1.0 / (1.0 + decay * i)

上面的公式即为学习率衰减公式,其中lr_i为第i次迭代时的学习率,lr_start为原始学习率,decay为一个介于[0.0, 1.0]的小数。

从公式上可看出:

  • decay越小,学习率衰减地越慢,当decay = 0时,学习率保持不变。
  • decay越大,学习率衰减地越快,当decay = 1时,学习率衰减最快。

使用decay的梯度下降法Python实现代码如下:

import numpy as npimport matplotlib.pyplot as plt# 目标函数:y=x^2def func(x): return np.square(x)# 目标函数一阶导数:dy/dx=2*xdef dfunc(x): return 2 * xdef GD_decay(x_start, df, epochs, lr, decay): """ 带有学习率衰减因子的梯度下降法。 :param x_start: x的起始点 :param df: 目标函数的一阶导函数 :param epochs: 迭代周期 :param lr: 学习率 :param decay: 学习率衰减因子 :return: x在每次迭代后的位置(包括起始点),长度为epochs+1 """ xs = np.zeros(epochs+1) x = x_start xs[0] = x v = 0 for i in range(epochs): dx = df(x) # 学习率衰减 lr_i = lr * 1.0 / (1.0 + decay * i) # v表示x要改变的幅度 v = - dx * lr_i x += v xs[i+1] = x return xs

使用以下测试与绘图代码demo3_GD_decay来看一下当学习率依次为lr = [0.1, 0.3, 0.9, 0.99]与decay = [0.0, 0.01, 0.5, 0.9]时的效果如何:

def demo3_GD_decay():     
line_x = np.linspace(-5, 5, 100)     
line_y = func(line_x)     
plt.figure('Gradient Desent: Decay')      
x_start = -5     
epochs = 10      
lr = [0.1, 0.3, 0.9, 0.99]     
decay = [0.0, 0.01, 0.5, 0.9]      
color = ['k', 'r', 'g', 'y']      
row = len(lr)     
col = len(decay)     
size = np.ones(epochs + 1) * 10     
size[-1] = 70    
 for i in range(row):        
for j in range(col):             
x = GD_decay(x_start, dfunc, epochs, lr=lr[i], decay=decay[j])             
plt.subplot(row, col, i * col + j + 1)             
plt.plot(line_x, line_y, c='b')             
plt.plot(x, func(x), c=color[i], label='lr={}, de={}'.format(lr[i], decay[j]))             
plt.scatter(x, func(x), c=color[i], s=size)             
plt.legend(loc=0)
plt.show()

运行结果如下图所示,其中每行图片的学习率一样、decay依次增加,每列图片decay一样,学习率依次增加:

demo3_GD_decay运行结果

简单分析一下结果:

  • 在所有行中均可以看出,decay越大,学习率衰减地越快。
  • 在第三行与第四行可看到,decay确实能够对震荡起到减缓的作用。

那么,不同decay下学习率的衰减速度到底有多大的区别呢?接下来设置起始学习率为1.0,decay依次为[0.0, 0.001, 0.1, 0.5, 0.9, 0.99],迭代周期为300时学习率衰减的情况,测试与绘图代码如下:

def demo4_how_to_chose_decay(): lr = 1.0 iterations = np.arange(300) decay = [0.0, 0.001, 0.1, 0.5, 0.9, 0.99] for i in range(len(decay)): decay_lr = lr * (1.0 / (1.0 + decay[i] * iterations)) plt.plot(iterations, decay_lr, label='decay={}'.format(decay[i])) plt.ylim([0, 1.1]) plt.legend(loc='best') plt.show()

运行结果如下图所示。可以看到,当decay为0.1时,50次迭代后学习率已从1.0急剧降低到了0.2。如果decay设置得太大,则可能会收敛到一个不是极值的地方呢。看来调参真是任重而道远:

demo4_how_to_chose_decay运行结果

后记

关于“梯度下降法”的三个超参数的原理、实现以及优缺点已经介绍完毕。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-12-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

在深度学习TensorFlow 框架上使用 LSTM 进行情感分析

在这篇教程中,我们将介绍如何将深度学习技术应用到情感分析中。该任务可以被认为是从一个句子,一段话,或者是从一个文档中,将作者的情感分为积极的,消极的或者中性的。...

5357
来自专栏CSDN技术头条

基于深度学习的图像语义编辑

深度学习在图像分类、物体检测、图像分割等计算机视觉问题上都取得了很大的进展,被认为可以提取图像高层语义特征。基于此,衍生出了很多有意思的图像应用。 为了提升本文...

2606
来自专栏https://www.cnblogs.com/L

【机器学习】--集成算法从初始到应用

集成思想就是让很多个训练器决定一个结果,目的:让机器学习效果更好,单个不行,群殴走起。

332
来自专栏数据科学与人工智能

【陆勤阅读】机器学习算法基础知识

可利用的算法非常之多。困难之处在于既有不同种类的方法,也有对这些方法的扩展。这导致很快就难以区分到底什么才是正统的算法。在这个帖子里,我希望给你两种方式来思考和...

2007
来自专栏月色的自留地

从锅炉工到AI专家(6)

1058
来自专栏量子位

给你一个卷积神经网络工作原理最直观的解释

作者:Owl of Minerva 量子位 已获授权编辑发布 转载请联系原作者 卷积神经网络(Convolutional Neural Network, CNN...

2526
来自专栏悦思悦读

利用逻辑回归模型判断用户提问意图

在之前开发聊天机器人的文章里,我们讲解了如何使用在线工具LUIS (https://luis.ai) 开发Chat bot的自然语言理解模型。 在构造问题解决型...

41914
来自专栏SIGAI学习与实践平台

卷积神经网络的压缩和加速

我们先来看看当前深度学习平台中,卷积层的实现方式,其实当前所有的深度学习平台中,都是以矩阵乘法的方式实现卷积的(如图1左侧):

2938
来自专栏AI研习社

用python 6步搞定从照片到名画,你学你也可以(附视频)

近年来,机器学习的进步使我们仅用几行代码就能生成惊为天人的艺术作品。如果可以将艺术作品的原型设计速度提高100倍,让用户真正地与创作媒介合为一体,效果会怎么样呢...

3295
来自专栏专知

概率论之概念解析:极大似然估计

【导读】本文是数据科学家Jonny Brooks-Bartlett概率论基础概念系列博客中的“极大似然估计”一章,主要讲解了极大似然估计的若干概念。分别介绍了参...

2847

扫描关注云+社区