【重温经典】吴恩达机器学习课程学习笔记四:梯度下降

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

吴恩达机器学习课程系列视频链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列:李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记四:梯度下降

1、什么是梯度下降?



承接上一次总结的内容,现在有损失函

,目的是为了找出合适的参数

,使得代价函数最小。简单的描述其做法为:随机选取一组

,通过某种方式不断地改变

的值,以使得代价函数的值,达到最小。(具体方式后面的总结会介绍)注意:从不同的

开始,最终得到的结果会不同。(用下山为例。你处在山上的不同位置,想要最快的方式到达山底,那么你所走的路线不同,到达山底的位置也不同)

2、梯度下降算法



如上图所示:=表示的是将式子右边计算的值赋给左边,α指的是学习率即我们以多大的步长去更新参数,对于前面所述的问题θ只能取

,(后面会在线性回归上应用梯度下降的算法)。注意:这里的两个参数需要同时更新。即需要采用左边correct的伪代码,对于右边incorrect的伪代码是将更新完

带入代价函数中,然后再去更新

,此时已经不是同时更新

,,这时得出的结果会与同步更新得出的结果不同。

3、对梯度算法的解释



将α与导数项各自有什么作用,以及为何要将两者放在一起:

如下图:假设代价函数的参数只有一个

,且代价函数的形状如下(在前面的总结中,我们曾说过正比例线性拟合的例子),对于上半部分的图,导数项代表着该点的斜率(为正),乘以α后被

减去,

对应着向左移动,同理对于下半部分,斜率为负,所以最

向右移动。

这里α控制着

移动的速度,如果过小,则会要就算多次才能到达最低点,如果过大,则会一次又一次的错过最小值(如下图所示),所以合理的设置α的大小同样很重要。

已经到达局部的最小值时,此时导数为0,由梯度公式可知。此时

将不会再发生变化。

另外,不需要在梯度下降的过程中,改变α的值,以上图为例,下降的过程中斜率绝对值减小,所以下降速度减慢,最终达到最低点。

3、在线性回归中应用梯度算法



梯度下降公式以及线性回归的代价函数如下图片:

求偏导后得到如下(对于线性回归,在实际的代码中只需要对参数与按照下图的方式进行更新即可):

特别地:对于线性回归的代价函数,它是凸函数,即它只有一个全局的最优解,不会存在多个局部最优解的情况。

对于上述的梯度下降过程,我们又命名为Batch梯度下降算法(Batch Gradient Descent),即它的每一次更新遍历了训练集中的所有样本。

到目前为止,介绍了机器学习的第一个算法,在后面的总结中,我们会介绍其他解决梯度下降的算法。以及多元梯度下降法算法。希望可以与大家一起学习,一起重温经典。

参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

请关注专知公众号

  • 后台回复“NGML2018” 就可以获取 吴恩达机器学习课程下载链接

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2018-04-05

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器人网

自动驾驶技术中的机器学习算法有哪些?

如今,机器学习算法正大规模地用于解决自动驾驶汽车产业日益增多的问题。结合 ECU (电子控制单元)传感器数据,我们须加强对机器学习方法的利用以迎接新的挑战。潜在...

1002
来自专栏机器之心

学界 | 利用人脸图片准确识别年龄:上海大学研究者提出「深度回归森林」

3046
来自专栏AI研习社

强化学习实验里到底需要多少个随机种子的严格证明

AI 研习社按:在机器学习和深度强化学习研究中,可重复性成为了最近最为热门、最常被人诟病的话题之一。复现一篇基于强化学习的文章远比想象的难,具体分析可参照《le...

1242
来自专栏AI科技评论

强化学习实验里到底需要多少个随机种子的严格证明

AI 科技评论按:在机器学习和深度强化学习研究中,可重复性成为了最近最为热门、最常被人诟病的话题之一。复现一篇基于强化学习的文章远比想象的难,具体分析可参照《l...

1133
来自专栏鸿的学习笔记

神经网络结构(上)

深度神经网络和深度学习是很强大和流行的算法。他们的成功很大程度上在于神经网络架构的精心设计。所以我想重温过去几年深度学习的神经网络设计的历史。

982
来自专栏AI科技大本营的专栏

AI 技术讲座精选:机器学习中梯度下降算法(包括其变式算法)简介

前 言 无论是要解决现实生活中的难题,还是要创建一款新的软件产品,我们最终的目标都是使其达到最优状态。作为一名计算机科学专业的学生,我经常需要优化各种代码,以便...

3474
来自专栏大数据挖掘DT机器学习

使用sklearn自带的贝叶斯分类器进行文本分类和参数调优

Part 1: 本篇内容简介 在前一篇文章完整手写一个朴素贝叶斯分类器,完成文本分类,我们使用首先假设在文档中出现的单词彼此独立,利用贝叶斯定理,完成了一个简...

4636
来自专栏机器之心

业界 | 从集成方法到神经网络:自动驾驶技术中的机器学习算法有哪些?

选自kdnuggets 作者:Savaram Ravindra等 参与:Lj Linjing、蒋思源 机器学习算法可以融合来自车体内外不同传感器的数据,从而评估...

2806
来自专栏华章科技

「知识图谱」领域近期值得读的 6 篇顶会论文

论文 | Hike: A Hybrid Human-Machine Method for Entity Alignmentin Large-Scale Know...

1161
来自专栏机器之心

前沿 | DeepMind提出新型超参数最优化方法:性能超越手动调参和贝叶斯优化

3854

扫码关注云+社区

领取腾讯云代金券