这门课,共有36个视频,每个视频播放的时间不一。我按着视频播放的顺序,观看,聆听和学习,并结合讲义,做学习笔记。我做学习笔记目的有三:
1 帮助自己学习和理解机器学习
2 记录机器学习的重要知识、方法、原理和思想
3 为传播机器学习做点事情
视频6:梯度下降
一、回顾
机器学习框架第三步,解决如下优化问题。
利用梯度下降算法求解。
二、梯度下降算法
1 学习速率调整
学习速率是一个超参数,设置不同的值,对优化算法的收敛性有影响。
鉴于此,提出一种自适应学习速率算法
算法思想,如下图:
Adagrad,算法逻辑,如下图:
2 随机梯度下降算法
可以让训练速度更快,适合大数据场景。
算法的思想,如下图:
3 特征缩放
消除特征量纲带来的影响。
常用的特征缩放,采用Z-score方法,使得每个特征均值为0,标准差为1。
附录:随机梯度的数学原理
抛出问题
关于这个问题的回答以及随机梯度的数学原理,请大家点击阅读原文,观看课程视频,学习和理解。
思考题:
1 基于梯度下降算法的学习速率问题,有哪些改进算法?
2 梯度下降算法有全量式、随机式、批量式,这些各有什么差异和应用场景?
3 泰勒级数有什么作用?