专栏首页Flaneur的文章分享梯度下降法的三种形式BGD、SGD、MBGD及python实现

梯度下降法的三种形式BGD、SGD、MBGD及python实现

前言

        梯度下降法作为机器学习中较常使用的优化算法,其有着三种不同的形式:批量梯度下降(Batch Gradient Descent)、随机梯度下降(Stochastic Gradient Descent)以及小批量梯度下降(Mini-Batch Gradient Descent)。其中小批量梯度下降法也常用在深度学习中进行模型的训练。接下来,我们将对这三种不同的梯度下降法进行理解。 为了便于理解,这里我们将使用只含有一个特征的线性回归来展开。

此时线性回归的假设函数为:

对应的目标函数(代价函数)即为:

下图为 J(θ0,θ1)与参数 θ0,θ1 的关系的图:

1、批量梯度下降(Batch Gradient Descent,BGD)

批量梯度下降法是最原始的形式,它是指在每一次迭代时使用所有样本来进行梯度的更新。从数学上理解如下:   (1)对目标函数求偏导:

  其中 i=1,2,…,m 表示样本数, j=0,1 表示特征数,这里我们使用了偏置项 x(i)0=1。   (2)每次迭代对参数进行更新:

注意这里更新时存在一个求和函数,即为对所有样本进行计算处理,可与下文SGD法进行比较。   伪代码形式为:

优点:   (1)一次迭代是对所有样本进行计算,此时利用矩阵进行操作,实现了并行。   (2)由全数据集确定的方向能够更好地代表样本总体,从而更准确地朝向极值所在的方向。当目标函数为凸函数时,BGD一定能够得到全局最优。 缺点:   (1)当样本数目 mm 很大时,每迭代一步都需要对所有样本计算,训练过程会很慢。   从迭代的次数上来看,BGD迭代的次数相对较少。其迭代的收敛曲线示意图可以表示如下:

批量梯度下降法的python实现

import matplotlib.pyplot as plt
import random
##样本数据
x_train = [150,200,250,300,350,400,600]
y_train = [6450,7450,8450,9450,11450,15450,18450]
#样本个数
m = len(x_train)
#步长
alpha = 0.00001
#循环次数
cnt = 0
#假设函数为 y=theta0+theta1*x
def h(x):
    return theta0 + theta1*x
theta0 = 0
theta1 = 0
#导数
diff0=0
diff1=0
#误差
error0=0           
error1=0          
#每次迭代theta的值
retn0 = []         
retn1 = []         

#退出迭代的条件
epsilon=0.00001

#批量梯度下降
while 1:
    cnt=cnt+1
    diff0=0
    diff1=0
    #梯度下降
    for i in range(m):
        diff0+=h(x_train[i])-y_train[i]
        diff1+=(h(x_train[i])-y_train[i])*x_train[i]
    theta0=theta0-alpha/m*diff0
    theta1=theta1-alpha/m*diff1
    retn0.append(theta0)
    retn1.append(theta1)
    error1=0
    #计算迭代误差
    for i in range(len(x_train)):
        error1 += ((theta0 + theta1 * x_train[i])-y_train[i]) ** 2 / 2
    #判断是否已收敛
    if abs(error1 - error0) < epsilon:
        break
    else:
        error0 = error1
# 画图表现
plt.title('BGD')
plt.plot(range(len(retn0)),retn0,label='theta0')
plt.plot(range(len(retn1)),retn1,label='theta1')
plt.legend()          #显示上面的label
plt.xlabel('time')
plt.ylabel('theta')
plt.show()
plt.plot(x_train,y_train,'bo')
plt.plot(x_train,[h(x) for x in x_train],color='k',label='BGD')
plt.legend()
plt.xlabel('area')
plt.ylabel('price')
print("批量梯度下降法:theta0={},theta1={}".format(theta0,theta1))
print("批量梯度下降法循环次数:{}".format(cnt))
plt.show()

2、随机梯度下降(Stochastic Gradient Descent,SGD)

       &nbsp;随机梯度下降法不同于批量梯度下降,随机梯度下降是每次迭代使用一个样本来对参数进行更新。使得训练速度加快。

        对于一个样本的目标函数为:

  (1)对目标函数求偏导:

  (2)参数更新:

注意,这里不再有求和符号   伪代码形式为:

优点:   (1)由于不是在全部训练数据上的损失函数,而是在每轮迭代中,随机优化某一条训练数据上的损失函数,这样每一轮参数的更新速度大大加快。 缺点:   (1)准确度下降。由于即使在目标函数为强凸函数的情况下,SGD仍旧无法做到线性收敛。   (2)可能会收敛到局部最优,由于单个样本并不能代表全体样本的趋势。   (3)不易于并行实现。

解释一下为什么SGD收敛速度比BGD要快:                 答:这里我们假设有30W个样本,对于BGD而言,每次迭代需要计算30W个样本才能对参数进行一次更新,需要求得最小值可能需要多次迭代(假设这里是10);而对于SGD,每次更新参数只需要一个样本,因此若使用这30W个样本进行参数更新,则参数会被更新(迭代)30W次,而这期间,SGD就能保证能够收敛到一个合适的最小值上了。也就是说,在收敛时,BGD计算了 10×30W 次,而SGD只计算了 1×30W 次。

        从迭代的次数上来看,SGD迭代的次数较少,在解空间的搜索过程看起来很盲目。其迭代的收敛曲线示意图可以表示如下:

随机梯度下降法的python实现

import matplotlib.pyplot as plt
import random
##样本数据
x_train = [150,200,250,300,350,400,600]
y_train = [6450,7450,8450,9450,11450,15450,18450]
#样本个数
m = len(x_train)
#步长
alpha = 0.00001
#循环次数
cnt = 0
#假设函数为 y=theta0+theta1*x
def h(x):
    return theta0 + theta1*x
theta0 = 0
theta1 = 0
#导数
diff0=0
diff1=0
#误差
error0=0           
error1=0          
#每次迭代theta的值
retn0 = []         
retn1 = []         

#退出迭代的条件
epsilon=0.00001

#随机梯度下降
for i in range(1000):
    cnt=cnt+1
    diff0=0
    diff1=0
    j = random.randint(0, m - 1)
    diff0=h(x_train[j])-y_train[j]
    diff1=(h(x_train[j])-y_train[j])*x_train[j]
    theta0=theta0-alpha/m*diff0
    theta1=theta1-alpha/m*diff1
    retn0.append(theta0)
    retn1.append(theta1)
    error1=0
    #计算迭代的误差
    for i in range(len(x_train)):
        error1 += ((theta0 + theta1 * x_train[i])-y_train[i]) ** 2 / 2
    #判断是否已收敛
    if abs(error1 - error0) < epsilon:
        break
    else:
        error0 = error1
# 画图表现        
plt.title('SGD')
plt.plot(range(len(retn0)),retn0,label='theta0')
plt.plot(range(len(retn1)),retn1,label='theta1')
plt.legend()          #显示上面的label
plt.xlabel('time')
plt.ylabel('theta')
plt.show()
plt.plot(x_train,y_train,'bo')
plt.plot(x_train,[h(x) for x in x_train],color='k',label='SGD')
plt.legend()
plt.xlabel('area')
plt.ylabel('price')
print("随机梯度下降法:theta0={},theta1={}".format(theta0,theta1))
print("随机梯度下降法循环次数:{}".format(cnt))
plt.show()

3、小批量梯度下降(Mini-Batch Gradient Descent, MBGD)

小批量梯度下降,是对批量梯度下降以及随机梯度下降的一个折中办法。其思想是:每次迭代 使用 batch_size 个样本来对参数进行更新。         这里我们假设 batchsize=10,样本数 m=1000 。         伪代码形式为:

优点:   (1)通过矩阵运算,每次在一个batch上优化神经网络参数并不会比单个数据慢太多。   (2)每次使用一个batch可以大大减小收敛所需要的迭代次数,同时可以使收敛到的结果更加接近梯度下降的效果。(比如上例中的30W,设置batch_size=100时,需要迭代3000次,远小于SGD的30W次)   (3)可实现并行化。 缺点:   (1)batch_size的不当选择可能会带来一些问题。

batcha_size的选择带来的影响:   (1)在合理地范围内,增大batch_size的好处:     a. 内存利用率提高了,大矩阵乘法的并行化效率提高。     b. 跑完一次 epoch(全数据集)所需的迭代次数减少,对于相同数据量的处理速度进一步加快。     c. 在一定范围内,一般来说 Batch_Size 越大,其确定的下降方向越准,引起训练震荡越小。   (2)盲目增大batch_size的坏处:     a. 内存利用率提高了,但是内存容量可能撑不住了。     b. 跑完一次 epoch(全数据集)所需的迭代次数减少,要想达到相同的精度,其所花费的时间大大增加了,从而对参数的修正也就显得更加缓慢。     c. Batch_Size 增大到一定程度,其确定的下降方向已经基本不再变化。

        下图显示了三种梯度下降算法的收敛过程:

4、总结

Batch gradient descent: Use all examples in each iteration;

Stochastic gradient descent: Use 1 example in each iteration;

Mini-batch gradient descent: Use b examples in each iteration.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 第一次测试题总结

    这里是一些暑期培训第一次测试题的部分解释,经过这次测试的摧残,总结备录一下,方便日后回顾复习。

    Flaneur
  • 浅谈机器学习-回归与分类的区别

            机器学习的主要任务便是聚焦于两个问题:分类和回归。本文将浅谈下两者的区别。

    Flaneur
  • 浅谈机器学习-分类和聚类的区别

            机器学习中有两类的大问题,一个是分类,一个是聚类。在我们的生活中,我们常常没有过多的去区分这两个概念,觉得聚类就是分类,分类也差不多就是聚类,下...

    Flaneur
  • 远程服务器使用phantomjs报错:phantomjs unexpectedly exited. Status code was: 127

    周小董
  • 《模式识别与智能计算》基于二值数据的贝叶斯分类实现

    用户4492257
  • 《模式识别与智能计算》基于类中心的欧式距离法分类

    算法过程: 1 选取某一样本 2 计算类中心 3 计算样本与每一类的类中心距离,这里采用欧式距离 4 循环计算待测样品和训练集中各类中心距离找出距离待测...

    用户4492257
  • 《模式识别与智能计算》模板匹配法

    模板匹配法说白就是特征一一对应,将数据每个特征相差加起来,然后总的特征值最小的就是相似度最大的

    用户4492257
  • 《模式识别与智能计算》基于PCA的模板匹配法

    用户4492257
  • 《模式识别与智能计算》基于类中心的欧式距离分类法

    用户4492257
  • 从 0 到 1 走进 Kaggle

    本文结构: kaggle 是什么 如何参赛 解决问题一般步骤 进一步: 如何探索数据 如何构造特征 提交结果 ---- kaggle 是什么? Kaggle ...

    杨熹

扫码关注云+社区

领取腾讯云代金券