梯度下降法快速教程 | 第一章:Python简易实现以及对学习率的探讨

前言

梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解目标函数的极值。

其基本原理非常简单:沿着目标函数梯度下降的方向搜索极小值(也可以沿着梯度上升的方向搜索极大值)。

但是如何调整搜索的步长(也叫学习率,Learning Rate)、如何加快收敛速度以及如何防止搜索时发生震荡却是一门值得深究的学问。接下来本文将分析第一个问题:学习率的大小对搜索过程的影响。全部源代码可在本人的GitHub:monitor1379(https://github.com/monitor1379/jianshu_blog/blob/master/scripts/gradient_descent_with_momentum_and_decay.py)中下载。

快速教程

前言啰嗦完了,接下来直接上干货:如何编写梯度下降法。代码运行环境为Python 2.7.11 + NumPy 1.11.0 + Matplotlib 1.5.1。

首先先假设现在我们需要求解目标函数func(x) = x * x的极小值,由于func是一个凸函数,因此它唯一的极小值同时也是它的最小值,其一阶导函数 为dfunc(x) = 2 * x。

import numpy as np
import matplotlib.pyplot as plt
# 目标函数:y=x^2
def func(x): return np.square(x)
# 目标函数一阶导数:dy/dx=2*x
def dfunc(x): return 2 * x

接下来编写梯度下降法函数:

# Gradient Descentdef GD(x_start, df, epochs, lr): """ 梯度下降法。给定起始点与目标函数的一阶导函数,求在epochs次迭代中x的更新值 :param x_start: x的起始点 :param df: 目标函数的一阶导函数 :param epochs: 迭代周期 :param lr: 学习率 :return: x在每次迭代后的位置(包括起始点),长度为epochs+1 """ xs = np.zeros(epochs+1) x = x_start xs[0] = x for i in range(epochs): dx = df(x) # v表示x要改变的幅度 v = - dx * lr x += v xs[i+1] = x return xs

需要注意的是参数df是一个函数指针,即需要传进我们的目标函数一阶导函数。

测试代码如下,假设起始搜索点为-5,迭代周期为5,学习率为0.3:

def demo0_GD():    
x_start = -5    
epochs = 5    
lr = 0.3    
x = GD(x_start, dfunc, epochs, lr=lr)    
print x    
# 输出:[-5.     -2.     -0.8    -0.32   -0.128  -0.0512]

继续修改一下demo0_GD函数以更加直观地查看梯度下降法的搜索过程:

def demo0_GD():     
"""演示如何使用梯度下降法GD()"""     
line_x = np.linspace(-5, 5, 100)    
 line_y = func(line_x)     
x_start = -5     
epochs = 5     
lr = 0.3     
x = GD(x_start, dfunc, epochs, lr=lr)     
color = 'r'     
plt.plot(line_x, line_y, c='b')     
plt.plot(x, func(x), c=color, label='lr={}'.format(lr))     
plt.scatter(x, func(x), c=color, )     
plt.legend()
plt.show()

从运行结果来看,当学习率为0.3的时候,迭代5个周期似乎便能得到蛮不错的结果了。

demo0_GD运行结果

梯度下降法确实是求解非线性方程极值的利器之一,但是如果学习率没有调整好的话会发生什么样的事情呢?

学习率对梯度下降法的影响

在上节代码的基础上编写新的测试代码demo1_GD_lr,设置学习率分别为0.1、0.3与0.9:

def demo1_GD_lr():     
# 函数图像    
 line_x = np.linspace(-5, 5, 100)     
line_y = func(line_x)     
plt.figure('Gradient Desent: Learning Rate')      
x_start = -5     
epochs = 5      
lr = [0.1, 0.3, 0.9]      
color = ['r', 'g', 'y']     
size = np.ones(epochs+1) * 10     
size[-1] = 70     
for i in range(len(lr)):         
x = GD(x_start, dfunc, epochs, lr=lr[i])         
plt.subplot(1, 3, i+1)         
plt.plot(line_x, line_y, c='b')         
plt.plot(x, func(x), c=color[i], label='lr={}'.format(lr[i]))         
plt.scatter(x, func(x), c=color[i])         
plt.legend()
plt.show()

从下图输出结果可以看出两点,在迭代周期不变的情况下:

  • 学习率较小时,收敛到正确结果的速度较慢。
  • 学习率较大时,容易在搜索过程中发生震荡。

综上可以发现,学习率大小对梯度下降法的搜索过程起着非常大的影响,为了解决上述的两个问题,接下来的博客《【梯度下降法】二:冲量(momentum)的原理与Python实现》将讲解冲量(momentum)参数是如何在梯度下降法中起到加速收敛与减少震荡的作用。

原文发布于微信公众号 - 人工智能LeadAI(atleadai)

原文发表时间:2017-11-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏文武兼修ing——机器学习与IC设计

Deep-compression阅读笔记基本步骤相关分析总结

以上是Deep compression中所述的神经网络压缩方法,主要包括三个步骤:

752
来自专栏菩提树下的杨过

机器学习笔记(1):线性回归

初次接触机器学习的朋友们,建议先把这篇概念性的科普文章,精读5遍以上:神经网络浅讲:从神经元到深度学习 下列代码来自 https://zh.gluon.ai/c...

19510
来自专栏懒人开发

(1.2)James Stewart Calculus 5th Edition:Mathematical Models: A Catalog of Essential Functions

也就是,现实环境中,类似人口大小,生成需求,物体下落速度...等等。 模型的目的是,理解对应的现象,对未来的行为做出预估。

621
来自专栏机器学习算法全栈工程师

15分钟入门NLP神器—Gensim

作为自然语言处理爱好者,大家都应该听说过或使用过大名鼎鼎的Gensim吧,这是一款具备多种功能的神器。 Gensim是一款开源的第三方Python工具包,用于...

1105
来自专栏人工智能

构建基于JAVA的朴素贝叶斯文本分类器

在前面的文章中,我们讨论了朴素贝叶斯文本分类器的理论背景以及在文本分类中使用特征选择技术的重要性。在本文中,我们将结合两种方法,用JAVA简单实现朴素贝叶斯文本...

3746
来自专栏机器学习算法全栈工程师

机器学习之——自动求导

作者:叶虎 小编:张欢 随机梯度下降法(SGD)是训练深度学习模型最常用的优化方法。在前期文章中我们讲了梯度是如何计算的,主要采用BP算法,或者说利用链式法则...

3068
来自专栏机器学习算法全栈工程师

基础|认识机器学习中的逻辑回归、决策树、神经网络算法

逻辑回归。它始于输出结果为有实际意义的连续值的线性回归,但是线性回归对于分类的问题没有办法准确而又具备鲁棒性地分割,因此我们设计出了逻辑回归这样一个算法,它的输...

862
来自专栏PPV课数据科学社区

机器学习系列:(三)特征提取与处理

特征提取与处理 上一章案例中的解释变量都是数值,比如匹萨的直接。而很多机器学习问题需要研究的对象可能是分类变量、文字甚至图像。本章,我们介绍提取这些变量特征的方...

4118
来自专栏腾讯技术工程官方号的专栏

机器学习在HEVC 视频编码中的实践

背景与目标 当前视频编码中应用最广泛的是AVC(H.264),而HEVC(H.265)作为下一代的视频编码算法,在压缩性能上可以再节省40%的码率,优势很明显,...

2328
来自专栏张宏顺的专栏

机器学习在HEVC 视频编码中的实践

本文是对HEVC CU深度快速选择方法的思考和实践,将机器学习引入到编码器优化上,是个较大胆的尝试,而且从效果来看,编码速度提升显著,且压缩性能下降不多,说明该...

1.2K3

扫码关注云+社区