首页
学习
活动
专区
工具
TVP
发布

深度学习工程师(五)——逻辑回归中的梯度下降

单个实例的梯度下降

    首先先来回顾一下逻辑回归的公式,下面列出来了。

    假设我们只有两个特征,即特征向量是二维的,那么计算图就是为下面这样的。

    对损失函数求导过程如下所示,按左边的数字,一步一步看。

    最后就可以得到下面的结果。

    然后就对参数进行更新。

以上过程就是对单个实例的一次梯度更新。

    上面的算式让我花了很久的时间,确实太久没有碰微积分了,一边算还一边查公式,另外注意细节,我因为有个求导忘一步,求了很多次,都差了个负号,都是泪哇,上面的算式已经足够保证可以看懂了。另外上面有一些符号可能写的有问题,应该不影响,比如求偏导和微分一些符号有写串了,反正不影响交流,数学符号是美丽的,简洁精炼且不存在语言障碍。

m个实例的梯度下降

    有了上面单个实例的梯度下降,对于全体训练样本的梯度下降就显得简单了。m个实例,即对每个实例进行梯度下降,然后求和取平均值。如果具体到编程,那么很显然,需要使用一个for循环去遍历这m个实例,因此相对于单个实例,m个实例时要多一层循环,单个实例只需要遍历所有的特征就可以了。

    实际上我们的数据集很大,在平时的编程中,我们都大量的使用for、while循环,但是一旦数据集很大,这样就会导致我们的算法运行的很慢,时间还是宝贵的,所以不能在程序中显式的使用for循环,而是采用向量化技术,下一篇谈向量化技术。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180606G0WA3W00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券